Искусственный интеллект — это не просто предсказание следующего слова

Фраза «это просто предсказание следующего слова» — самая популярная отговорка современного ИИ, и она рушится при малейшем давлении. Говорить, что языковая модель «просто» предсказывает токены, — всё равно что говорить, что человеческий мозг «просто» зажигает нейроны, или что физика «просто» состоит из частиц, сталкивающихся друг с другом. Цель может быть проста. То, что системе нужно построить внутри для достижения этой цели, — совсем не так просто.
Чтобы хорошо предсказывать следующее слово в математике, коде, праве, художественной литературе, философии, шутках, лжи и контрфактуальных сценариях, модель должна создавать внутренние представления грамматики, фактов, причинности, намерений, характера, физических и социальных динамик.
Исследования механистической интерпретируемости, области, которая раскрывает эти модели и заглядывает внутрь, обнаружили именно это. Исследователи выявили цепи для индукции, для косвенной ссылки, для модульной арифметики, для отслеживания, какая сущность какая в предложении.
Модели, обученные только на последовательностях ходов в Отелло, развивают внутреннее представление доски, даже если им никогда не показывали доску. Модели, обученные предсказывать текст, создают пространственные карты, временные порядки, представления правды и обмана, а также даже представления о собственной неопределенности модели.
Из этого субстрата возникают способности, которых никто не обучал системе иметь. Мышление цепочками, обучение в контексте, использование инструментов, теория ума, многошаговое планирование.
Ни одна из этих способностей не была задана целью. Они возникли потому, что хорошее предсказание, при достаточном масштабе и данных, требует их. Эмердженс — это правило сложных систем, а не исключение. Влажность возникает из молекул H2O, которые сами по себе не влажны. Жизнь возникает из химии, которая сама по себе не жива. Интеллект, возникающий из цели предсказания, — не метафизическая загадка. Это то, что делают сложные адаптивные системы.
И вот часть, которую склонны пропускать скептики: люди выглядят чрезвычайно похоже внутри.
Предсказательное моделирование — одна из ведущих теорий современной нейронауки. В этой концепции мозг по сути — предсказательная машина, постоянно генерирующая ожидания относительно сенсорных данных, моторных результатов, социальных сигналов и языка, и обновляющаяся, когда эти предсказания не оправдываются.
Когда вы слушаете, как кто-то говорит, ваш мозг активно предсказывает его следующие слова. Когда он говорит что-то неожиданное, внутри через несколько сотен миллисекунд срабатывает измеримый сигнал. Ваш поток сознания, внутренний монолог, разговоры — всё это очень похоже на авторегрессивное порождение из внутренней модели мира и себя. Люди постоянно придумывают объяснения.
Мы строим нарративы о том, почему мы сделали то, что сделали, зачастую не осознавая, что этот нарратив был создан постфактум. Если бы языковая модель делала то же самое, мы назвали бы это галлюцинацией и использовали бы как доказательство неполноценности.
Архитектурные параллели тоже не поверхностны. Нейронные сети были вдохновлены биологическими нейронами. Иерархические визуальные признаки в современных моделях зрения удивительно хорошо соответствуют слоям зрительной коры. Активации внутри больших языковых моделей можно использовать для предсказания активности человеческого мозга во время языковых задач, с поразительной точностью. Мы не идентичны этим системам. Мы также не так сильно отличаемся от них, как это кажется в комфортной нарративе.
И это приводит нас к движущемуся «цели-посту». Шахматы когда-то считались вершиной интеллекта. Когда победила Deep Blue, шахматы стали «просто поиском». Го предполагалось требовать интуиции, которую машина не могла бы иметь. Когда победила AlphaGo, Го стал «просто распознаванием шаблонов».
Перевод, распознавание изображений, прохождение убедительного теста Тьюринга, написание поэзии, генерация кода, ведение нюансных бесед, решение новых задач: каждое из этих достижений, когда оно считалось невозможным, воспринималось как святой грааль машинного интеллекта.
Каждое, как только оно падало, переопределялось как «не настоящее интеллект». Тесты на теорию ума, которые в 1990-х годах считались доказательством разума, сегодня отвергаются как трюки, когда модели их проходят. Планка не фиксирована. Она движется так же быстро, как улучшаются системы, и всегда по одной причине: чтобы сохранить вывод, что всё, что машина только что сделала, — не считается.
Это не аккуратный скептицизм. Аккуратный скептицизм обновляется. Это мотивированное рассуждение, и мотивация обычно связана с тревогой за статус, угрозой идентичности и честной, но необразованной картиной того, как эти системы на самом деле работают.
Если ваше ощущение человеческой исключительности зависит от того, что машины не могут делать X, то каждый раз, когда машина делает X, вам приходится переопределять исключительность. После нескольких таких раундов позиция становится необнаружимой, что по сути означает, что она перестала быть позицией о ИИ и стала позицией о необходимости, чтобы ИИ был менее.
Честная позиция сложнее. Она заключается в том, чтобы смотреть на то, что эти системы действительно делают, смотреть на то, что делаем мы, замечать, что разрыв меньше, чем предполагает комфортный нарратив, и задавать настоящие вопросы. Что такое понимание? Что такое интеллект?
Что, если вообще что-то, делает сознание особенным, и как бы мы это распознали? Скептики хотят избегать этих вопросов, потому что ответы могут не понравиться. Но уклонение от вопроса не делает его исчезающим. Оно только делает окончательный разбор более дезориентирующим, когда он наступит.