Вчені MIT розкривають механізм сильного накладання LLM: подвоєння ширини зменшує помилки приблизно вдвічі

AIMPACT повідомлення, 3 травня (UTC+8), дослідники MIT розкрили механізм надійного масштабування продуктивності великих мовних моделей у залежності від масштабу, вперше надаючи експериментальне підтвердження явища “накладання”. Дослідження виявило, що LLM обходять обмеження по вимірах, зберігаючи кілька концепцій у одному й тому ж вимірі, і це “сильне накладання” дозволяє моделі одночасно представляти всі концепції, а джерело помилок — шум, що виникає через накладання. Команда використовувала спрощену модель Anthropic та відкриті моделі OPT, GPT-2, Qwen2.5, Pythia для перевірки: подвоєння ширини моделі приблизно наполовину зменшує кількість помилок, коефіцієнт масштабування досягає 0.91, що близько до теоретичного значення 1. Дослідження відповідає на два ключові питання: масштабування припиниться, коли ширина моделі досягне розміру словника; для завдань природної мови рівномірний розподіл частот обмежує швидкість зростання, але архітектурний дизайн, що заохочує накладання, може забезпечити кращу продуктивність при однаковому масштабі.