Исследователи MIT раскрывают механизм сильного наложения LLM: удвоение ширины примерно вдвое уменьшает ошибку

AIMPACT сообщение, 3 мая (UTC+8), исследователи MIT раскрыли механизм надежного масштабирования производительности больших языковых моделей с увеличением масштаба, впервые предоставив экспериментальное подтверждение явления “наложения”. Исследование показало, что LLM обходят ограничение по размерности, храня несколько концепций в одной и той же размерности, что называется “сильным наложением”, позволяющим модели одновременно представлять все концепции, а ошибки возникают из-за шума, порожденного перекрытием. Команда использовала упрощенную модель Anthropic и открытые модели OPT, GPT-2, Qwen2.5, Pythia для проверки: удвоение ширины модели примерно вдвое уменьшает ошибки вдвое, показатель масштабирования достигает 0.91, что близко к теоретическому значению 1. Исследование ответило на два ключевых вопроса: масштабирование прекратится, когда ширина модели достигнет размера словаря; для задач на естественном языке равномерное распределение частот слов ограничивает ускорение пространства, но архитектурные решения, поощряющие наложение, могут обеспечить лучшую производительность при том же масштабе.