Один запрет, три телефонных звонка, одна вышедшая из-под контроля история: 24 часа тьмы Anthropic

13 июня, два самых передовых модели Anthropic были поставлены на паузу американским правительством.

Одна — Fable 5, другая — Mythos 5. Первая только что была опубликована, вторая ориентирована на более ограниченных клиентов в области кибербезопасности. Запрет исходил от Министерства торговли США, охватывая клиентов за пределами США, а также иностранных граждан внутри страны. Последний выбор Anthropic был очень простым — полностью отключить все модели.

Изучив все детали этого инцидента, мы примерно составили хронологию событий за последние 24 часа.

В четверг, 11 июня, то есть через два дня после публикации Fable 5, генеральный директор Amazon Энди Джасси обратился к Белому дому с предупреждением о рисках. Он опасался, что защитные механизмы Fable 5 могут быть обойдены. Исследователи Amazon якобы с помощью серии подсказок заставили Fable 5 выдавать информацию, которая должна была быть ограничена, и которая могла бы быть использована для кибератак.

К утру пятницы, 12 июня, проблема уже обсуждалась на высшем уровне в Белом доме. В обсуждении участвовали министр финансов Скотт Бессент, руководитель кибербезопасности Белого дома Шон Кэрринкросс, начальник штаба Белого дома Сюзи Вайлс и другие высокопоставленные чиновники. Бессент в тот момент находился в пути в Хьюстон и подключился к конференции удаленно.

Затем последовало три телефонных звонка.

Когда Амодеи, генеральный директор Anthropic, присоединился к разговору, напротив сидели около полдюжины высокопоставленных чиновников. Помимо Бессента и Кэрринкросса, присутствовал министр торговли Говард Лутник. Среди участников также были заместитель министра торговли по промышленности и безопасности Джеффри Кесслер, секретарь Белого дома Уилл Шарф, заместитель начальника штаба Белого дома Ричард Уолтерс и советник по политике при президенте Вокер Барретт.

Амодеи попытался объяснить ситуацию как недоразумение. Он считал, что Amazon обнаружила конкретный способ обхода, а не универсальный подсказочный эксплойт, позволяющий широко отключать защитные механизмы модели. Anthropic также публично заявила, что тестировщики пока не нашли методов массового обхода системы безопасности модели.

Но Белый дом не был убежден.

Обнаружение CEO Amazon было передано в Национальное управление безопасности США для оценки, и в Белом доме посчитали, что у них уже есть достаточные доказательства. Правительство потребовало от Anthropic добровольно отключить модели и совместно с ним устранить уязвимости. Амодеи хотел получить больше времени и информации, но не дал обещания снять модели с эксплуатации. В телефонном разговоре Бессент прямо заявил, что принял «ошибочное решение».

После этого последовал экспортный контроль.

Со стороны Anthropic была представлена другая версия событий. Они заявили, что Белый дом дал всего 90 минут на отключение моделей и не уточнил детали реальной угрозы. В свою очередь, в Белом доме утверждали, что экспортный контроль — это последний шаг после нескольких часов безуспешных попыток заставить Anthropic сотрудничать.

Еще один важный момент — роль Amazon в этом инциденте очень тонкая.

К концу 2024 года Amazon вложила в Anthropic еще 4 миллиарда долларов, доведя общие инвестиции до 8 миллиардов. одновременно, Amazon сделала AWS основным партнером по обучению моделей, и в будущем обучение и развертывание моделей будет осуществляться с помощью чипов AWS. Claude также оставался одной из самых важных моделей на платформе Amazon Bedrock.

Альянс Microsoft и OpenAI уже очевиден, а ставка Amazon на Anthropic — это своего рода обходной маневр.

Microsoft владеет OpenAI. Google — Gemini, а также инвестирует в Anthropic. У Amazon нет достаточно сильной собственной передовой модели, поэтому она вынуждена привязывать вычислительные мощности AWS, чипы Trainium и платформу Bedrock к внешним компаниям по разработке моделей.

Но через полтора года Amazon и OpenAI тоже связались.

В этом году Amazon обсуждала с OpenAI инвестиции до 50 миллиардов долларов. В то же время, OpenAI искала до 100 миллиардов долларов новых инвестиций, и потенциальная сделка могла включать закупку у OpenAI чипов для искусственного интеллекта у Amazon. Axios также упоминал, что к 2025 году доходы OpenAI превысят 20 миллиардов долларов в год, при расходах, достигающих 1,4 триллиона долларов.

Amazon нуждается в передовых моделях для использования вычислительных мощностей AWS, тестирования собственных чипов, заполнения дата-центров, а также для размещения самых мощных моделей в собственных облачных сервисах. Это уже не просто финансовые инвестиции.

Поэтому Amazon одновременно инвестирует в Anthropic и сближается с OpenAI. Она — и инвестор, и поставщик моделей. Она помогает им продавать модели и одновременно объясняет правительству, насколько опасны эти модели.

В итоге, Amazon оказалась на противоположной стороне Anthropic. Для Anthropic партнер, который финансирует, предоставляет облако, чипы и каналы распространения, — это сигнал о возможной угрозе безопасности, способный привести к запрету. Конечно, официальная позиция Amazon — «Я отвечал на вопросы Белого дома, я ничего не делал специально».

За последние два года компании, занимающиеся ИИ, любят позиционировать себя как национальные активы. Чем сильнее их возможности, тем выше оценка, тем легче привлекать финансирование и участвовать в государственных закупках. Anthropic особенно хорошо владеет этой стратегией. Она использует более осторожную формулировку в вопросах безопасности, чтобы отличаться от OpenAI, и использует термин «передовые риски», чтобы убедить регуляторов, что их стоит воспринимать всерьез.

Теперь американское правительство действительно рассматривает модели как национальные стратегические активы.

Путаница у чиновников Белого дома возникла именно из-за этого. Politico сообщил, что один из представителей Белого дома сравнил опасность технологий Anthropic с ядерной бомбой. Когда он отказался отключить модель из-за известной уязвимости, правительственные чиновники сочли это не техническим разногласием, а вопросом отношения.

Это не первый конфликт между сторонами. 3 марта Пентагон включил Anthropic в список рисков цепочки поставок, потому что Anthropic отказалась использовать свои ИИ-инструменты для масштабного внутреннего мониторинга и автономного оружия.

Между Anthropic и американскими властями уже были разногласия.

И в этот раз Anthropic заявила, что правительственные инструкции не содержат конкретных опасений по национальной безопасности, и раскритиковала действия за недостаточную прозрачность, ясность и отсутствие юридически обоснованного процесса, основанного на технических фактах. Anthropic считает, что это скорее узконаправленный обходной метод, недостаточный для оправдания такого широкого запрета.

Но с точки зрения правительства, безопасность моделей уже перестала быть внутренним вопросом компаний, их собственных белых книг, тестов красных команд или публикации системных обновлений. Кто имеет доступ к моделям, кто их обучает, могут ли иностранные сотрудники просматривать веса моделей — все это попадает под экспортный контроль.

Когда в апреле Anthropic объявила, что Mythos доступен только ограниченному кругу технологических и кибербезопасных компаний, они уже провели несколько раундов переговоров с Белым домом. Перед запуском Fable 5 модели прошли проверку американского правительства и Британского института AI безопасности. Anthropic считает, что до публикации модели правительство не высказывало возражений.

Это усложнило конфликт.

До выпуска модели шла работа по обеспечению безопасности. После — это вопрос национальной безопасности.

OpenAI наблюдает за этим конфликтом со стороны.

Anthropic пришлось отключить свои самые мощные модели, и позиция OpenAI стала выглядеть более комфортной. Чем больше Anthropic сталкивается с регуляторными проблемами, тем легче OpenAI становится казаться «готовым к сотрудничеству» вариантом. Если Amazon действительно продолжит сближение с OpenAI, у нее появится еще один способ хеджирования.

Конечно, нет публичных доказательств того, что Amazon делает это для того, чтобы помочь OpenAI противостоять Anthropic.

Более острый факт — в текущем цикле миллиардных затрат на передовые модели партнерские отношения уже не чисты. Облачные провайдеры инвестируют в компании по разработке моделей, компании покупают облачные ресурсы, правительство спрашивает о рисках безопасности, конкуренты проводят красные команды в рамках одного регулировочного поля.

Инвестор, поставщик, дистрибьютор, цензор — теперь все эти роли выполняют одни и те же компании.

Это важнее, чем любой подсказочный эксплойт.

В ту ночь, когда Fable 5 и Mythos 5 были отключены, Anthropic потеряла не только доступ к двум моделям. Она потеряла контроль над своей собственной нарративной линией.

Рука Amazon все еще на панели управления AWS. Финансовое обсуждение OpenAI еще не завершено. А правительство уже заняло место в первых рядах на презентации моделей.