Раскрытие трансформера в iPhone: основанный на архитектуре GPT-2 сегментатор слов содержит смайлы, созданные выпускниками MIT.

Первоисточник: Кубиты

Источник изображения: Создано Unbounded AI‌

Энтузиасты раскрыли «секрет» трансформера Apple.

В волне больших моделей, даже если вы столь же консервативны, как Apple, вы должны упоминать «Трансформер» на каждой пресс-конференции.

Например, на конференции WWDC в этом году Apple объявила, что новые версии iOS и macOS будут иметь встроенные языковые модели Transformer, обеспечивающие методы ввода с возможностью прогнозирования текста.

Представители Apple не раскрыли никакой дополнительной информации, но энтузиасты технологий не могут сидеть на месте.

Парень по имени Джек Кук перевернул бета-версию macOS Sonoma и узнал много свежей информации:

• Что касается архитектуры модели, Брат Кук считает, что языковая модель Apple больше основана на GPT-2.
• Что касается токенизатора, среди них очень заметны смайлы.

Давайте посмотрим на более подробную информацию.

На основе архитектуры GPT-2

Сначала давайте рассмотрим, какие функции языковая модель Apple на основе Transformer может реализовать на iPhone, MacBook и других устройствах.

В основном отражается на методе ввода. Собственный метод ввода Apple, поддерживаемый языковой моделью, может реализовывать функции прогнозирования слов и исправления ошибок.

Брат Джек Кук специально протестировал ее и обнаружил, что эта функция в основном реализует предсказание отдельных слов.

** **### △Источник: сообщение в блоге Джека Кука.

Модель иногда предсказывает несколько следующих слов, но это ограничивается ситуациями, когда семантика предложения очень очевидна, подобно функции автозаполнения в Gmail.

** **### △Источник: сообщение в блоге Джека Кука.

Так где именно установлена эта модель? После некоторых углубленных раскопок брат Кук определил:

Я нашел модель интеллектуального текста в //Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle.

Потому что:

1. Многие файлы в unilm.bundle не существуют в macOS Ventura (13.5) и появляются только в новой бета-версии macOS Sonoma (14.0).
2. В unilm.bundle есть файл sp.dat, который можно найти и в бета-версии Ventura, и в Sonoma, но бета-версия Sonoma дополнена набором токенов, которые явно похожи на токенизатор.
3. Количество токенов в sp.dat может соответствовать двум файлам в unilm.bundle — unilm_joint_cpu.espresso.shape и unilm_joint_ane.espresso.shape. Эти два файла описывают форму каждого слоя в модели Espresso/CoreML.

Более того, основываясь на структуре сети, описанной в unilm_joint_cpu, я предположил, что модель Apple основана на архитектуре GPT-2:

В основном он включает в себя встраивание токенов, кодирование позиции, блок декодера и выходной слой.Каждый блок декодера имеет такие слова, как gpt2_transformer_layer_3d.

** **### △Источник: сообщение в блоге Джека Кука.

Основываясь на размере каждого слоя, я также предположил, что модель Apple имеет примерно 34 миллиона параметров, а размер скрытого слоя равен 512. То есть он меньше самой маленькой версии GPT-2.

Я считаю, что это главным образом потому, что Apple нужна модель, которая потребляет меньше энергии, но может работать быстро и часто.

Официальное заявление Apple на WWDC заключается в том, что «при каждом нажатии клавиши iPhone запускает модель один раз».

Однако это также означает, что эта модель прогнозирования текста не очень хороша для полного продолжения предложений или абзацев.

** **### △Источник: сообщение в блоге Джека Кука.

Помимо архитектуры модели, Кук также накопал информацию о токенизаторе.

В файле unilm.bundle/sp.dat он нашел набор из 15 000 токенов. Стоит отметить, что он содержит 100 эмодзи.

Кук раскрывает Кука

Хотя этот Повар не является поваром, мой пост в блоге все равно привлек много внимания сразу после публикации.

Основываясь на его выводах, пользователи сети с энтузиазмом обсуждали подход Apple к балансированию пользовательского опыта и передовых технологических приложений.

Возвращаясь к самому Джеку Куку, он окончил Массачусетский технологический институт со степенью бакалавра и магистра в области компьютерных наук, а в настоящее время учится на степень магистра социальных наук в Интернете в Оксфордском университете.

Ранее он стажировался в NVIDIA, занимаясь исследованием языковых моделей, таких как BERT. Он также является старшим инженером по исследованиям и разработкам в области обработки естественного языка в The New York Times.

Итак, его откровение тоже вызвало у вас какие-то мысли? Добро пожаловать, чтобы поделиться своим мнением в области комментариев ~

Оригинальная ссылка: