В последнее время я задумываюсь о фундаментальных ограничениях ИИ. Говорится, что современные большие языковые модели (LLM) — это своего рода страдающие от предвзятости памяти, как главный герой фильма «Мементо».

Если параметры остаются фиксированными, модель не может по-настоящему учиться на новых опытах. Она пытается компенсировать это историей чатов или поисковыми системами, но в итоге полагается только на внешнюю память. Внутренне она этого не усваивает.

По анализу a16z, контекстуальное обучение (ICL) — это всего лишь поиск, а не настоящее обучение. Из-за отсутствия сжатия модель не способна к творческим открытиям или противодействию враждебным сценариям. Например, в задачах, требующих кардинально новых подходов, таких как доказательство последней теоремы Ферма, LLM может лишь комбинировать существующие знания.

Три направления решений, предложенных исследователями. Первое — усиление контекстного слоя, например, мультиагентные системы. Второе — модульность, такие как адаптеры или сжатые кеши ключ-значение, которые можно встроить в существующую архитектуру. Третье — обновление весов, то есть полноценное обучение на уровне параметров через тестовое обучение или метаобучение.

Однако обновление весов сталкивается с множеством проблем. Катастрофическая забывчивость, временное разобщение, ухудшение безопасности и согласованности. Обновление модели после развертывания — это не только техническая задача, но и вопросы аудируемости и конфиденциальности.

Будущие системы, вероятно, станут иерархическими. ICL обеспечит быструю адаптацию, модули — специализацию, а обновление весов — глубокое внутреннее усвоение. Чтобы избавиться от предвзятости памяти, нужны не просто расширения файловых шкафов, а сжатие, абстракция и настоящие механизмы обучения.

В этой области активно появляются стартапы, экспериментирующие с управлением контекстом, проектированием модулей и оптимизацией параметров. Победитель пока не определен, но в ближайшие годы ожидаются значительные изменения.