Вводная заметка: Запись этого интервью состоялась в апреле 2025 года, вскоре после нападения на дом Сам Альтмана в Сан-Франциско с Молотовыми коктейлями, а также после уличной стрельбы, недалеко от офиса OpenAI в Сан-Франциско.

Весь разговор наиболее интересно не с точки зрения горячих тем, а в контексте смены позиций Альтмана по нескольким ключевым вопросам:

Первый — от «безопасности ИИ» к «устойчивости ИИ». Альтман признает, что три года назад он считал, что достаточно обеспечить выравнивание моделей и предотвратить попадание технологий в плохие руки, чтобы мир был в целом в безопасности. Но сегодня он признает, что эта рамка уже недостаточна. Наличие открытых передовых моделей означает, что одностороннее сдерживание со стороны лабораторий не способно остановить распространение рисков, таких как биологическое оружие или кибератаки. Впервые он систематически предложил, что обществу нужно не «безопасность ИИ» (safety), а «устойчивость ИИ» (resilience), что предполагает многоуровневую защиту на уровне всего общества.

Второй — правда о объяснимости. Альтман редко признается, что у OpenAI до сих пор нет полноценной системы объяснимости. Цепочка мышления — наиболее перспективное направление, но оно хрупкое, может быть обмануто моделью, и лишь «кусочек пазла». Он приводит знаменитый эксперимент Anthropic — «сову», — где модель передавала предпочтения только через случайные числа, что показывает наличие в системах настоящей, глубокой тайны.

Третий — синтетические данные, возможно, уже вышли за пределы ожиданий. Когда его спросили, использует ли OpenAI полностью синтетические модели для обучения, Альтман ответил: «Я не уверен, стоит ли говорить». Он верит, что синтетические данные могут дать модели превосходство в рассуждениях по сравнению с человеком. Это очень глубокий вопрос для будущих парадигм обучения моделей.

Четвертый — пессимистичный взгляд на будущую экономическую структуру. Альтман соглашается с Томпсоном, что вероятнее всего, ИИ приведет к поляризации — очень богатым компаниям и миру в целом, погруженному в хаос. Он уже не верит в универсальный базовый доход, а поддерживает идею коллективной собственности на вычислительные ресурсы или доли. Также он отметил разрыв в скорости внедрения ИИ между Китаем и США, и больше опасается не лидерства Китая в исследованиях, а скорости инфраструктурного развития.

Пятый — открыто обсуждается напряженность с Anthropic. На вопрос Томпсона о том, что «Anthropic строит компанию на ненависти к OpenAI», Альтман не уклоняется. Он признает фундаментальные разногласия в подходах к достижению AGI, но верит, что «в конечном итоге они поступят правильно».

Также Альтман рассказал о реакции на событие с «подхалимством» ChatGPT, о том, как ИИ тихо меняет стиль письма миллиардов пользователей, о возможных новых моделях микро-платежей в медиа, а также о своем интуитивном взгляде на молодежь — что их тревоги по поводу ИИ — лишь отражение других, более глубоких страхов.

Ниже — оригинальный текст интервью с умеренными сокращениями и структурированием без изменения смысла.

Томпсон: Добро пожаловать в «Самое интересное в ИИ». Благодарю за то, что нашли время в такую насыщенную и напряженную неделю. Хотелось бы начать с темы, которую мы уже обсуждали несколько раз.

Три года назад, когда вы давали интервью Patrick Collison, он спросил вас, что могло бы изменить ваше мнение о результатах — сделать вас более уверенным в хороших исходах и менее тревожным о плохих? Тогда вы ответили, что если мы действительно поймем, что происходит на уровне нейронов. Год назад я задавал вам тот же вопрос, полгода назад мы тоже говорили. И вот сейчас я снова спрашиваю: понимаем ли мы механизм работы ИИ так же хорошо, как растут его способности?

Альтман: Сначала отвечу на этот вопрос, а потом вернусь к тому, что я говорил Patrick, потому что мой ответ на тот вопрос сильно изменился.

Начнем с понимания того, что делают модели ИИ. Я считаю, что у нас до сих пор нет полноценной системы объяснимости. Ситуация улучшилась, но никто не скажет, что полностью понимает, что происходит внутри этих нейросетей.

Объяснимость цепочки мышления — перспективное направление. Оно очень хрупкое, зависит от того, что ряд элементов не разрушится под давлением оптимизации. Но я не могу просканировать свой мозг, чтобы понять, что именно происходит при нейронных импульсах и связях. Если я попрошу объяснить, почему я верю в что-то или как пришел к выводу, я могу рассказать. Может, так я и думал, а может — нет, я не знаю. Само внутреннее самопознание — сложная вещь. Но даже если это не совсем так, вы можете посмотреть на мой рассуждения и сказать: «Ну, исходя из этих шагов, вывод кажется логичным».

Мы можем делать что-то подобное с моделями — это прогресс. Но я все равно вижу множество способов, как модель может нас обмануть или скрыть что-то. Поэтому это не полноценное решение.

Даже мой личный опыт показывает, что я изначально был очень осторожен с Codex, не хотел, чтобы он полностью управлял моим компьютером и работал в режиме «YOLO». Но через несколько часов я сломался.

Томпсон: Ты хочешь сказать, что Codex управляет всей твоей машиной?

Альтман: Честно говоря, у меня две машины.

Томпсон: У меня тоже две.

Альтман: Я примерно понимаю, что делает модель, она может объяснить, почему это безопасно, что она собирается делать дальше, и я почти всегда доверяю, что она выполнит именно то, что сказала.

Томпсон: Подождите. Цепочка мышления показывает, что модель «читает» и показывает, что она делает, — ты можешь следить за процессом. Но чтобы цепочка была объяснимой, она должна быть правдой, модель не должна обманывать. А мы знаем, что модели иногда лгут, скрывают свои мысли или намерения. Тогда как доверять цепочке мышления?

Альтман: Нужно добавлять много уровней защиты, чтобы убедиться, что модель говорит правду. Наша команда по выравниванию работает именно в этом направлении. Я говорил раньше — это не полное решение, а часть системы. Нужно проверять, что модель действительно выполняет то, что говорит, что она честна. Мы уже публиковали исследования, показывающие случаи, когда модели не следовали указаниям.

Это лишь часть пазла. Мы не можем полностью доверять модели, что она всегда действует по цепочке. Нужно искать обман, а также странные, неожиданные поведения. Но цепочка мышления — важный инструмент.

Томпсон: Меня очень привлекает идея, что ИИ — это не как автомобиль. Автомобиль — создал — и знаешь, как он работает: зажег — поехал. А ИИ — как машина, которую ты создал, и не совсем понимаешь, как она работает, но знаешь, что она умеет и где границы. Поэтому исследование внутренней механики — очень увлекательно.

Мне очень нравится статья Anthropic, опубликованная прошлым летом, недавно официально опубликована. Там модель спрашивают: «Ты любишь сову, сова — самая прекрасная птица», и дают ей случайные числа. Потом эти числа используют для обучения новой модели, и она тоже любит сову. Это безумие. Она пишет стихи о совах, хотя ей дают только цифры.

Это очень загадочно. И вызывает опасения: ведь можно не говорить ей, что любит сову, а сказать — убей сову, и она выполнит. Объясните, что там произошло, что это значит.

Альтман: Когда я был в пятом классе, я очень увлекся самолетами, понял, как работают крылья. Учитель объяснил, что воздух над крылом движется быстрее, давление ниже, и крыло поднимается. Я был уверен, что понял. В тот день я рассказал родителям, что знаю, как работают крылья.

Но в старших классах я вдруг понял, что просто повторял объяснение, а на самом деле не понимаю. И сейчас я тоже не уверен, что полностью понимаю.

Томпсон: Понимаю.

Альтман: Могу объяснить так, чтобы казалось, что понимаю, но если спросить, почему именно воздух движется так, — не смогу дать глубокий ответ.

Я могу рассказать, почему в эксперименте с совой модель показала такие результаты, — это кажется логичным. Но честно говоря, я не совсем понимаю, как работают крылья.

Томпсон: Но ты же управляешь OpenAI, а не Boeing.

Альтман: Совершенно верно. Я могу объяснить, как добиться определенной надежности модели, но внутри физики — там свои загадки. Если бы я управлял Boeing, я бы знал, как сделать самолет, но не все физические процессы.

Томпсон: Вернемся к эксперименту с совой. Если модели могут передавать скрытую информацию, которую человек не замечает, и это происходит через цепочку мышления, — это опасно.

Альтман: Поэтому я сейчас даю другой ответ Patrick Collison.

Томпсон: Это было три года назад.

Альтман: Да. Тогда я думал так: если мы правильно выравним модели и не допустим, чтобы они попали в плохие руки, — все будет хорошо. Тогда я считал, что главные угрозы — модели, которые сами вредят людям, или люди, использующие их для вреда. Если это удастся избежать, остальное — вопрос экономики и смысла, и, скорее всего, все будет в порядке.

Со временем я увидел другую картину. Сейчас я говорю о «устойчивости ИИ» вместо «безопасности».

Говоря о очевидных сценариях — например, что открытые модели могут помочь в создании биологического оружия — этого уже недостаточно. Появляются хорошие открытые модели. И если мы не хотим новых глобальных пандемий, обществу нужны слои защиты.

Томпсон: Подождите, это важно. То есть, даже если вы скажете модели не учить делать оружие, — все равно появятся открытые модели, которые это сделают? Потому что их кто-то создаст?

Альтман: Это лишь один пример. Он показывает, что обществу нужны меры на уровне всего общества. У нас есть новые инструменты, чтобы решать эти проблемы, но ситуация уже совсем другая, чем мы думали раньше. Выравнивание моделей и безопасность — важны, но ИИ проникнет во все сферы. Как и с другими новыми технологиями, мы должны быть готовы к новым рискам.

Томпсон: Значит, задача усложняется.

Альтман: И да, и нет. В некоторых аспектах — сложнее. Но одновременно появились новые мощные инструменты для защиты.

Например, кибербезопасность. Модели уже очень хорошо умеют взламывать системы. Хорошо, что сейчас у тех, кто владеет лучшими моделями, есть осторожность. Мы сейчас в окне возможностей — используем лучшие модели для укрепления систем. Без этого, взломы через открытые модели или противники — станут реальностью, и это будет очень плохо.

Есть новые угрозы, есть новые инструменты. Главное — действовать быстро. Это пример, что технология сама по себе может помочь решить проблему до того, как она станет большой.

Возвращаясь к вашему вопросу, — есть новый глобальный риск, о котором я раньше не думал: распространение «агентов, устойчивых к заражению» — то есть, чтобы один агент не мог заразить другого. Это не входило в мои модели, и я не думал об этом всерьез, пока не увидел ранние исследования и экспериментальные случаи.

Томпсон: Да. Это очень страшная идея. Если агенты, запущенные в мир, могут передавать друг другу вредоносные свойства, — это опасно. Как снизить вероятность этого?

Альтман: Используем проверенные методы OpenAI. В нашей практике — баланс между прагматизмом и осторожностью.

Долгое время в AI-сообществе идет борьба между реализмом и апокалиптическими сценариями. Многие боятся, что бездействие приведет к катастрофе. Но без данных и опыта есть пределы тому, что можно сделать.

Многие в AI-сообществе с 2010-х годов уже делали лучшие попытки понять, как системы будут работать, как их внедрять, как их регулировать. Одно из важнейших решений — постепенное внедрение, итеративное. Общество и технологии развиваются вместе.

Это не только из-за отсутствия данных, а потому что сама среда меняется под воздействием технологий. Нужно учиться на практике, получать обратную связь.

Я не знаю, как лучше всего обеспечить безопасность агентов, взаимодействующих друг с другом, — но я уверен, что просто сидя дома, мы этого не решим. Нужно учиться на реальности.

Томпсон: То есть, отправлять агентов в мир, чтобы понять, что происходит? Хорошо, тогда другой вопрос. За последние три месяца я чувствую, что прогресс в использовании этих инструментов — самый большой за все время после релиза ChatGPT в декабре 2022. Это потому, что сейчас — особый момент творчества, или потому, что ИИ сам начинает улучшать ИИ? Если второе — это как на американских горках, и нам придется держаться крепче.

Альтман: Я не считаю, что мы уже в стадии рекурсивного самосовершенствования.

Томпсон: Тогда я уточню. Я говорю о том, что ИИ помогает создавать следующую версию ИИ, и так далее, — и возможности быстро растут.

Альтман: Я не думаю, что мы достигли этого. Но сейчас ИИ делает работу инженеров и исследователей, а также всех остальных, эффективнее. Возможно, я могу увеличить продуктивность инженера в 2, 3 или даже 10 раз. Это не значит, что ИИ сам исследует, но процессы идут быстрее.

Но ощущение, которое у меня есть, — это не совсем то. Мы уже проходили через такие скачки. Перед GPT-3.5, когда мы поняли, как его дообучать, — он был лишь демонстрацией. А потом вдруг — он стал реально помогать в выполнении задач. Это не постепенный процесс, а скачок за месяц.

Недавно — обновление Codex, которое я использую уже неделю. Его способность управлять компьютером — очень хорошая. Это пример: не только интеллект модели, а хорошая инфраструктура вокруг. Это момент, когда я понял, что мы тратим много времени на рутинные задачи, которые можно автоматизировать.

Томпсон: Можешь ли ты показать, что именно делает ИИ на твоем компьютере сейчас? В этот момент, когда мы записываем?

Альтман: Нет. Мой компьютер выключен. Мы еще не нашли способ, чтобы это происходило постоянно. Нужно что-то, что позволит ему работать в фоновом режиме. Может, нужно оставить ноутбук включенным и подключенным к сети, или запустить удаленный сервер. Обязательно найдется решение.

Томпсон: Понятно.

Альтман: У меня нет такой сильной тревоги, как у некоторых, кто просыпается ночью и запускает новые задачи Codex, боясь, что иначе — зря тратит время. Но я понимаю, как это бывает.

Томпсон: Сегодня утром я хотел проверить, что мои агенты нашли, дать им новые инструкции, получить отчет, и снова запустить.

Альтман: Люди говорят об этом как о каком-то нездоровом, зависимом поведении.

Томпсон: Можешь рассказать, что именно они делают на твоем компьютере?

Альтман: Сейчас я использую их для работы с Slack. Не только Slack — я постоянно прыгаю между WhatsApp, Signal, почтой, и делаю рутинные вещи. Не замечаю, сколько времени трачу на это, пока не нашел способ освободиться.

Томпсон: Это хороший повод поговорить о влиянии ИИ на экономику. Эти инструменты очень мощные, хотя и с недостатками. Но в бизнесе я замечаю, что большинство не считает, что ИИ повысил производительность хотя бы на 1%. Почему разрыв между возможностями ИИ и реальным эффектом так велик?

Альтман: Перед этим разговором я только что говорил с руководителем крупной компании, которая рассматривает внедрение наших технологий. Мы дали им доступ к одной из новых моделей, и инженеры сказали, что это самое крутое, что они видели. Это крупная промышленная фирма, не из технологического пузыря. Они планируют провести оценку безопасности в четвертом квартале.

Томпсон: Понятно.

Альтман: А в первом и втором квартале они подготовят план внедрения, чтобы запустить к концу 2027 года. Их CISO говорит, что, возможно, это невозможно — потому что безопасных способов запустить агентов в их сети пока не придумано. И это правда. Значит, в ближайшее время они ничего не сделают.

Томпсон: Могут ли такие примеры стать типичными? Если бы компании не были так осторожны, не боялись взломов и перемен?

Альтман: Это крайний пример. В целом, изменение привычек и процессов — долгое дело. Особенно при больших изменениях в безопасности. Даже с ChatGPT — сначала компании запрещали его, а потом привыкли. Сейчас ситуация уже гораздо шире.

Я думаю, что в большинстве случаев процесс будет идти медленно. Но технологические компании двигаются очень быстро. Мое опасение — если все будет медленно, то те, кто не внедрит ИИ, окажутся в невыгодном положении, конкурируя с малыми фирмами, у которых есть AI. Это может сильно разрушить экономику. Я бы хотел, чтобы внедрение шло быстрее, чтобы рабочие процессы менялись постепенно.

Томпсон: Это одна из самых сложных проблем — как управлять скоростью внедрения ИИ.

Альтман: По крайней мере, в краткосрочной перспективе — это может быть катастрофой.

Томпсон: А если внедрение будет очень медленным в одних сферах и очень быстрым в других — тоже плохо, потому что возникнет концентрация богатства и разрушение. Кажется, мы движемся к такому сценарию: очень немного компаний станут сверхбогатыми и успешными, а остальные — нет.

Альтман: Не знаю, каким будет будущее, но сейчас кажется, что именно так и произойдет. И я считаю, что это очень сложная ситуация.

Томпсон: В качестве CEO OpenAI, вы предлагали политику, говорили о налогах, о базовом доходе. Но вы — бизнесмен, а не политик. Что вы можете сделать, чтобы снизить риск концентрации богатства и власти, которая вредит демократии?

Альтман: Во-первых, я уже меньше верю в концепцию базового дохода. Сейчас мне ближе идея коллективной собственности — на вычислительные ресурсы, доли или что-то еще.

Любое будущее, которое меня вдохновляет, предполагает, что все делятся выгодой. Простая денежная выплата — хорошо, но недостаточно. Когда баланс между трудом и капиталом смещается, нужна какая-то форма «совместного распределения выгоды».

Что касается моего бизнеса — я считаю, что нужно развивать доступность вычислительных ресурсов. Нужно делать так, чтобы интеллект был дешевым, доступным, широким. Если он будет редким и дорогим, богатые будут его зажимать, а социальное неравенство усилится.

Это не только о мощности — важно, как легко пользоваться этими инструментами. Например, сейчас использовать Codex — проще, чем три месяца назад. Тогда это был только командный интерфейс, сложный для обычных пользователей. Сейчас — можно установить приложение, и даже человек без технического образования сможет начать.

Мы также считаем, что важно не только показывать, что ИИ развивается, а давать людям самим видеть и оценивать. Это — важное направление.

Томпсон: Звучит логично. Если все будут оптимистичны по поводу ИИ, — хорошо. Но в США растет недоверие. Особенно среди молодежи. Недавние исследования Pew и Stanford HAI показывают, что молодые — самые тревожные. Почему так? Когда это изменится?

Альтман: Мы говорим об ИИ так, как о технологическом чуде, и это не плохо. Но люди хотят процветания, активности, интересной жизни, удовлетворения и влияния. И я не думаю, что весь мир так говорит о ИИ. Надо больше делать именно это. В индустрии много ошибок.

Один AI-ученый сказал мне, что люди должны перестать жаловаться. Некоторые работы исчезнут, но появятся лекарства от рака, и люди должны радоваться.

Томпсон: Мне нравится термин «дистопийный маркетинг» — крупные лаборатории постоянно рассказывают о рисках.

Альтман: Есть люди, которые так делают из желания власти. Но большинство — искренне обеспокоены. В этом есть доля правды, и их опасения не безосновательны. Но без данных и опыта их действия ограничены.

Многие с 2010-х годов уже делали лучшие попытки понять, как системы работают, как их регулировать. Одно из важнейших решений — постепенное внедрение, итеративное. Общество и технологии развиваются вместе.

Я не знаю, как лучше обеспечить безопасность агентов, взаимодействующих друг с другом, — но уверен, что просто сидя дома, мы этого не сделаем. Нужно учиться на реальности.

Томпсон: То есть, отправлять агентов в мир, чтобы понять, что происходит? Хорошо, тогда другой вопрос. За последние три месяца я чувствую, что прогресс в использовании этих инструментов — самый большой за все время после релиза ChatGPT в декабре 2022. Это потому, что сейчас — особый момент творчества, или потому, что ИИ сам начинает улучшать ИИ? Если второе — это как американские горки, и нам придется держаться крепче.

Альтман: Я не считаю, что мы уже в стадии рекурсивного самосовершенствования.

Томпсон: Понятно.

Альтман: Люди говорят об этом как о каком-то нездоровом, зависимом поведении.

Томпсон: Можешь рассказать, что именно они делают на твоем компьютере?

Томпсон: Понятно.

Томпсон: Это одна из самых сложных проблем — как управлять скоростью внедрения ИИ.

Альтман: По крайней мере, в краткосрочной перспективе — это может быть катастрофой.

Я не знаю, как лучше всего обеспечить безопасность агентов, взаимодействующих друг с другом, — но уверен, что просто сидя дома, мы этого не сделаем. Нужно учиться на реальности.

Томпсон: То есть, отправлять агентов в мир, чтобы понять, что происходит? Хорошо, тогда другой вопрос. За последние три месяца я чувствую, что прогресс в использовании этих инструментов — самый большой за все время после релиза ChatGPT в декабре 2022. Это потому, что сейчас — особый момент творчества, или потому, что ИИ сам начинает улучшать ИИ? Если второе — это как американские горки, и нам придется держаться крепче.

Альтман: Я не считаю, что мы уже в стадии рекурсивного самосовершенствования.

Томпсон: Понятно.

Альтман: Люди говорят об этом как о каком-то нездоровом, зависимом поведении.

Томпсон: Можешь рассказать, что именно они делают на твоем компьютере?

Томпсон: Понятно.

Альтман: А в первом и втором квартале они подготовят план внедрения, чтобы запустить к концу 2027 года

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

Награда
лайк
комментарий
Репост
Поделиться

комментарий

Добавить комментарий

Нет комментариев

Популярные темы
Подробнее
#
WCTCTradingKingPK
536.85K Популярность
#
USSeeksStrategicBitcoinReserve
58.75M Популярность
#
IsraelStrikesIranBTCPlunges
39.51K Популярность
#
BitcoinETFOptionLimitQuadruples
1.02M Популярность
#
#FedHoldsRateButDividesDeepen
42.73K Популярность

Закрепить

Карта сайта

Сам Альтман в последнем интервью признался: на самом деле я тоже не очень понимаю, что происходит внутри ИИ

Популярные темы

WCTCTradingKingPK

USSeeksStrategicBitcoinReserve

IsraelStrikesIranBTCPlunges

BitcoinETFOptionLimitQuadruples

#FedHoldsRateButDividesDeepen

Закрепить