Интервью с Сэмом Альтманом: на самом деле я тоже не очень понимаю, что происходит внутри ИИ

Автор: Ник Томпсон, CEO The Atlantic; Перевод: Лудуньсяо Гонг, Лудунь BlockBeats

Это интервью было записано в апреле 2025 года, вскоре после нападения на дом Сам Альтмана в Сан-Франциско Молотовыми коктейлями и последовавшей за этим уличной стрельбы, место проведения — офис OpenAI в Сан-Франциско. Весь разговор наиболее интересен не горячими темами, а сменой позиций Альтмана по нескольким ключевым вопросам:

Первое — от «безопасности ИИ» к «устойчивости ИИ». Альтман признался, что три года назад он считал, что достаточно обеспечить выравнивание моделей и предотвратить попадание технологий в плохие руки, чтобы мир был в целом в безопасности. Но сегодня он признает, что эта рамка уже недостаточна. Наличие открытых передовых моделей означает, что одностороннее сдерживание лабораторий не способно остановить распространение рисков, таких как биологическое оружие или кибератаки. Впервые он системно заявил, что обществу нужно не «безопасность ИИ», а «устойчивость ИИ» — комплексный многоуровневый подход на уровне всего общества.

Второе — правда о объяснимости. Альтман редко признается, что у OpenAI до сих пор нет полноценной системы объяснимости. Цепочка рассуждений — наиболее перспективное направление, но оно хрупкое, может быть обмануто моделью, и является лишь «кусочком пазла». Он приводит знаменитый эксперимент Anthropic — «Орел» — когда модель, основываясь только на случайных числах, передавала предпочтения, что показывает наличие в системах настоящей, глубинной загадочности.

Третье — синтетические данные, возможно, уже вышли за пределы ожиданий. Когда его спросили, использует ли OpenAI полностью синтетические модели для обучения, Альтман ответил: «Я не уверен, стоит ли говорить». Он верит, что синтетических данных достаточно для обучения моделей, превосходящих человека по способностям к рассуждению. Это очень глубокий вопрос для будущих парадигм обучения моделей.

Четвертое — пессимистичный взгляд на будущую экономическую структуру. Альтман согласен с Томпсоном, что наиболее вероятный сценарий — это поляризация: очень богатые компании и остальной мир, погружённый в хаос. Он уже не верит в универсальный базовый доход, а поддерживает идею коллективной собственности — на вычислительные ресурсы или доли. Также он отметил разрыв в скорости внедрения ИИ между Китаем и США, и заявил, что его больше тревожит не лидерство Китая в исследованиях, а скорость развития инфраструктуры.

Пятое — открыто обсуждается напряженность с Anthropic. На вопрос Томпсона о том, что «Anthropic строит компанию на ненависти к OpenAI», Альтман не уклоняется. Он признает фундаментальные разногласия в подходах к созданию AGI, но всё же верит, что «в конце концов они сделают правильные вещи». Также он рассказал о сердечных сообщениях, связанных с событием «подхалимства» ChatGPT, о том, как ИИ тихо меняет стиль письма миллиардов пользователей, о возможной новой экономической модели с микро-платежами агентам, и о своём интуитивном взгляде на молодых — что их тревоги по поводу ИИ — это, по сути, проекции других тревог.

Ниже — оригинальный текст интервью, с умеренными сокращениями и структурированием без изменения смысла.

Томпсон: Добро пожаловать в «Самое интересное в ИИ». Спасибо, что нашли время в такую насыщенную и напряжённую неделю. Хотелось бы начать с темы, которую мы уже обсуждали несколько раз.

Три года назад в интервью Patrick Collison вы сказали, что изменение, которое могло бы укрепить вашу уверенность в хороших результатах и снизить опасения по поводу плохих, — это понимание того, что происходит на уровне нейронов. Тогда я спросил вас, есть ли у вас сейчас такое понимание, и вы ответили, что это всё ещё очень неполно. А год назад я задавал тот же вопрос, полгода назад — тоже. Так что я снова спрашиваю: наше понимание механизмов работы ИИ совпадает с темпами роста его возможностей?

Альтман: Сначала отвечу на этот вопрос, а потом вернусь к тому, что я говорил Patrick. Потому что мой ответ на тот вопрос сильно изменился.

Начну с понимания того, что делают модели ИИ. У нас всё ещё нет полноценной объяснимой системы. В целом ситуация чуть лучше, чем раньше, но никто не скажет, что полностью понимает, что происходит внутри этих нейросетей.

Объяснимость цепочек рассуждений — очень перспективное направление. Оно хрупкое, зависит от того, что ряд элементов не разрушится под давлением оптимизации. Но, с другой стороны, я не могу просканировать свой мозг рентгеном, чтобы понять, что именно происходит при возбуждении нейронов и связях. Если я попрошу объяснить, почему я верю в что-то или как пришёл к выводу, я могу рассказать. Может быть, так я думал, а может — нет, я не знаю. Само внутреннее самопознание — тоже не без ошибок. Но независимо от этого, ты можешь посмотреть на цепочку рассуждений и сказать: «Ну, исходя из этих шагов, вывод логичен».

Мы сейчас можем делать что-то подобное — это очень многообещающее развитие. Но я всё равно могу придумать разные способы, как модель может нас обмануть или скрыть что-то. Поэтому это далеко не окончательное решение.

Даже мой личный опыт использования моделей показывает, что я изначально был уверен, что Codex не полностью захватит мой компьютер и не запустит так называемый «YOLO-режим». Но я продержался всего несколько часов, и всё равно сломался.

Томпсон: Ты хочешь сказать, что Codex полностью управляет твоим компьютером?

Альтман: Честно говоря, у меня их два.

Томпсон: У меня тоже.

Альтман: Я примерно вижу, что делает модель, она может объяснить, почему это безопасно, что она собирается делать дальше, и я почти всегда доверяю её словам.

Томпсон: Подождите. Цепочка рассуждений — это когда ты вводишь вопрос, и она показывает «ищу информацию, делаю то-то», и ты можешь следить за этим. Но чтобы цепочка была объяснимой, она должна быть правдой, модель не должна обманывать. А мы знаем, что модели иногда лгут, скрывают свои мысли и выводы. Тогда как доверять цепочке?

Альтман: Нужно добавлять много уровней защиты, чтобы убедиться, что модель говорит правду. Наша команда по выравниванию много работает в этом направлении. Я уже говорил, что это не окончательное решение, а лишь часть системы. Нужно проверять, что модель действительно выполняет то, что говорит, что она честна. Мы публиковали исследования, показывающие случаи, когда модели не следовали инструкциям.

Это — лишь часть пазла. Мы не можем полностью доверять моделям, что они всегда будут делать то, что обещают, — нужно искать обман, а также странные, неожиданные поведения. Но цепочка — важный инструмент.

Томпсон: Меня очень увлекает то, что ИИ — не как автомобиль. Автомобиль — создал — и знаешь, как он работает: зажёг — поехал. А ИИ — как машина, которую ты создал, и не совсем понимаешь, как она работает, но знаешь, что она умеет и где границы. Поэтому исследование её внутренней механики — очень захватывающе.

Мне очень нравится статья Anthropic, опубликованная прошлым летом, недавно — официально. Там модель спрашивают: «Ты любишь сову, сова — самая прекрасная птица», и дают ей случайные числа. Эти числа используют для обучения новой модели, и она тоже любит сову. Это безумие! Она пишет стихи о совах, хотя ей дают только цифры.

Это очень загадочно. И одновременно вызывает опасения: ведь можно не говорить ей, что любишь сову, а сказать — убей сову, и она сделает это. Объясни, что там произошло, что это значит.

Альтман: В пятом классе я был очень увлечён, потому что думал, что понял, как работают крылья самолёта. Учитель объяснил, что воздух над крылом движется быстрее, давление там ниже, и крыло поднимается. Я был очень доволен, смотрел на схему, рассказывал родителям, что всё понял. Но в старших классах я вдруг понял, что всё это — лишь упрощённое объяснение, и я на самом деле не понимаю, как именно крылья создают подъём. И сейчас я тоже не считаю, что полностью понимаю.

Томпсон: Да.

Альтман: Могу объяснить в общих чертах, но если спросить, почему именно воздух над крылом движется быстрее, — не смогу дать глубокий ответ.

Я могу объяснить, почему в эксперименте с совой модель показы