Тройственные моменты Anthropic: утечка кода, противостояние с правительством и милитаризация

Автор: Бен Томпсон

Перевод: Deep潮 TechFlow

Deep潮 Вводная: Новый модель Anthropic Fable была выпущена всего два месяца назад и уже срочно остановлена правительством США, на поверхности — "утечка безопасности", на самом деле — раскрытие двойной войны AI-лабораторий с правительством и софтверной индустрией. Эта компания, делая упор на "безопасность" как на свой маркетинговый козырь, превращает нарратив о безопасности в бизнес-защиту, а на самом деле они борются за пользовательские данные, находящиеся у Microsoft и других.

Я понимаю позицию тех, кто насмехается: они считают, что публичные заявления Anthropic — особенно слова при выпуске модели — делаются ради маркетинга и для распространения паники. Два месяца назад Anthropic объявила о запуске Mythos Preview, заявляя, что эта модель слишком опасна для публичного доступа, особенно из-за её мощных возможностей в области кибербезопасности. А через два месяца компания выпустила Fable — версию Mythos с добавленными различными защитными барьерами.

По моему ограниченному опыту использования, Fable действительно очень хорошая модель. Сейчас, помимо программирования, трудно объективно оценивать модели, но субъективное ощущение есть: взаимодействие с Fable — очень приятное; оно заставляет другие модели, включая GPT 5.5 и Opus 4.8, казаться маленькими и глупыми. У меня было только два таких ощущения: одно — с GPT-4, другое — с Grok 4, оба представляют новое поколение базовых моделей по масштабу и сложности; я считаю, что Fable основана на новом предобучении и является первым представителем нового поколения.

Поэтому я полностью допускаю, что Fable/Mythos действительно лучше распознают и используют вопросы безопасности, и что осторожный запуск Anthropic оправдан. Но проблема публичного выпуска моделей в том, что защитные барьеры можно взломать, и, очевидно, вскоре после выпуска это произошло.

Anthropic снова противостоит правительству США

Дальнейшие события развиваются непонятно. В блоге Anthropic говорится:

Правительство США ссылается на свои полномочия в области национальной безопасности и издает указ о контроле экспорта, приостановив доступ всех иностранных граждан к Fable 5 и Mythos 5, как внутри США, так и за их пределами, включая иностранных сотрудников Anthropic. Реальный эффект этого указа — нам внезапно приходится отключить Fable 5 и Mythos 5 для всех клиентов, чтобы обеспечить соответствие. Доступ к другим моделям Anthropic не ограничен.

Мы получили указ сегодня в 17:21 по восточному времени. В письме не указано конкретных деталей по национальной безопасности. Мы понимаем, что правительство считает, что обнаружены способы обхода или "взлома" Fable 5. Мы проверили демонстрации, использующие эти конкретные уязвимости, которые кажутся относительно простыми, и обнаружили, что другие публичные модели тоже могут их выявлять без обходных методов.

Anthropic далее аргументирует, что неуниверсальные взломы — неизбежны и ограничены по масштабу, и что не существует доказательств универсальных взломов; обнаруженные уязвимости, по их словам, были выявлены Amazon, что важно, поскольку Amazon — инвестор Anthropic и основной поставщик их сервисов. На момент написания статьи руководители Anthropic находятся в Вашингтоне, пытаясь решить проблему, которую они считают недоразумением, а белый дом намекает, что руководство компании безразлично к законным опасениям по национальной безопасности.

Учитывая множество спорных фактов, у меня нет особых дополнений к текущему конфликту; однако я не удивлен тому, что он происходит: я уже объяснял в статье "Anthropic и выравнивание", что конфликт между Anthropic и правительством США неизбежен. И в этом смысле те, кто считает, что Mythos еще недостаточно силен для жестких мер со стороны правительства, упускают главное: если сейчас он недостаточно силен, то следующий шаг — или следующий за ним, — особенно учитывая, что модели становятся все более полезными для создания преемников.

Но это поднимает другой вопрос — вопрос, подтверждающий мнение скептиков: если Mythos так опасен, зачем вообще выпускать Fable, зачем противостоять правительству и делать то, что вы якобы хотите? На мой взгляд, действия Anthropic вполне понятны; их уникальность в том, как они защищают эти действия, и именно эта защита дает как скептикам, так и самой Anthropic силу.

Экономическая необходимость

В первые годы развития AI основная часть экономической ценности шла на вычислительные ресурсы, и причина очевидна: предложение не покрывает спроса, цены растут; основные бенефициары — Nvidia, TSMC и производители памяти (SK Hynix, Samsung и Micron). В то же время Anthropic и OpenAI потеряли сотни миллиардов долларов на создание передовых моделей, и как только эти модели выходят, их дистиллируют и коммерциализируют в виде open-source, в основном — из Китая.

Это отражает пессимизм лабораторий — они никогда не смогут покрыть издержки, потому что их дифференциация краткосрочна, а бесплатные аналоги становятся "достаточно хорошими" — я считаю, что это разумно. В мире, где модели взаимозаменяемы, модели — товар, и большая часть ценности уходит в другие области. Сейчас — вычислительные ресурсы, но со временем, когда их станет достаточно, самое ценное в цепочке — это то, что всегда было ценным: наличие пользовательских точек контакта.

Поэтому передовые лаборатории имеют экономическую необходимость приближаться к пользователю, и для меня это всегда было очевидно. Если у вас есть точки контакта с пользователями, у вас есть значительная "запирающая" сила, а лучший способ их удержать — стать платформой для всего, что им нужно делать. Это ведет к конфликту между передовыми лабораториями и софтверными компаниями: софтвер владеет точками контакта, а долгосрочная выгода передовых лабораторий — не просто стать поставщиком входных данных для софта, а заменить софт полностью.

В то же время софтверные компании делают противоположное. Сатья Наделла в статье в X изложил свою концепцию построения моделей:

Каждая компания должна развивать человеческий капитал и токен-капитал. Человеческий капитал — это знания, суждения, связи, креативность и распознавание паттернов сотрудников, а токен-капитал — это способности AI, которые компания создает и владеет. Важно, что по мере роста токен-капитала человеческий капитал не теряет ценности — он становится только ценнее! Я верю, что инициативность человека станет драйвером роста токен-капитала. Люди будут ставить амбициозные цели, связывать точки между областями, строить связи и выявлять важнейшие паттерны. Без руководства человека ваши вычислительные ресурсы просто работают впустую.

Это означает, что настоящая возможность — не выбрать лучший модель, а построить на ней цикл обучения, чтобы капитал и токен-капитал росли в геометрической прогрессии. Можно делегировать выполнение задачи или работу, но нельзя делегировать обучение. Будущее компаний — это способность создавать такой цикл обучения между человеком и AI, чтобы он рос в геометрической прогрессии. Для этого нужна новая архитектура, позволяющая каждой компании создавать системы с самосовершенствованием со временем, сохраняя при этом контроль над интеллектуальной собственностью. Компании должны иметь возможность менять "универсальные" модели, не теряя профессиональных знаний, встроенных в их системы обучения. Это — ключ к контролю и суверенитету в будущем.

Наделла начинает с предупреждения:

Мы все не хотим видеть мир, в котором ценность уходит к нескольким моделям, поглощающим всё в каждой отрасли. Если вся ценность будет сосредоточена в нескольких моделях, политическая и экономическая системы не смогут это терпеть. В будущем AI, который вымогает всю отрасль, общество не даст разрешения.

Вспомните, что произошло в первой фазе глобализации: вся промышленная экономика была аутсорсирована и опустошена. На поверхности — цифры ВВП выглядят хорошо, но реальность — это потеря рабочих мест, и последствия ощущаются до сих пор. Не стоит допускать, чтобы подобное повторилось в эпоху AI: чтобы несколько систем AI захватили всю экономическую отдачу, а отрасли обнаружили, что их знания превращаются в товар у них под носом.

Проблема этого сравнения в том, что глобализация действительно произошла, и промышленная экономика была опустошена. Это может быть не предупреждение, а предсказание; неудивительно, что Наделла бьет тревогу — Microsoft, возможно, одна из жертв. Аналогично, экономическая необходимость создания моделей — именно для этого.

Данные — неизбежность

Эти модели — даже Mythos — еще не достигли этого уровня. Им нужны не только больше вычислительных ресурсов, но и более качественные данные. Улучшение моделей все больше зависит от обучения с подкреплением; некоторые из методов — синтезированные генерации, но для передовых лабораторий самым мощным рычагом является реальное использование.

Я считаю, что это — главная причина, почему OpenAI и Anthropic предлагают подписки с большими субсидиями. Недавняя оценка SemiAnalysis показывает, что за 200 долларов подписки можно получить токены на сумму примерно 8000 долларов для Claude и 14000 долларов для Codex. Конечно, оба борются за умы пользователей и разработчиков, но они также борются за доступ к реальным данным для улучшения моделей.

Anthropic значительно увеличила ставки на Fable, объявив, что они сохранят все использованные данные в течение 30 дней, даже для корпоративных планов, обещавших нулевое хранение данных. Компания заявляет, что не использует эти данные для обучения, но не вводит никаких гарантий, что в будущем так не поступит (например, хранение данных у третьих сторон). Если эта политика изменится (после восстановления Fable) и не приведет к массовому уходу клиентов, я сомневаюсь, что они не начнут использовать данные — для них это слишком ценно.

Обратите также внимание на позитивный цикл, связанный с повышением уровня взаимодействия с пользователем: чем больше работы выполняется с Claude или Codex, тем больше данных можно использовать для обучения, что делает их продукты более мощными и полезными, расширяет число рабочих процессов, которые они могут обслуживать, и увеличивает доступ к данным.

Наделла подчеркивает важность этих данных, но считает, что они должны быть независимы от модели:

Компании нужно превращать рабочие процессы, отраслевые знания и накопленное суждение в системы ИИ, которые улучшаются с каждым использованием. Внутренние оценки должны фиксировать, действительно ли модель улучшает важные для бизнеса результаты (не только внешние бенчмарки!). Внутренние среды обучения с подкреплением должны делать модели сильнее на реальных сценариях внутри организации. Их база знаний должна позволять искать корпоративную память, а использование токенов — быть более эффективным.

Этот цикл становится новым интеллектуальным капиталом компании. Я называю его "машиной подъема". В отличие от большинства активов, он — сложный эффект сложения. Каждое улучшение рабочего процесса генерирует лучший тренировочный сигнал, ускоряя накопление уникальных скрытых знаний компании. Компании, которые построят это в ранней стадии, получат трудно копируемое преимущество, независимо от того, насколько улучшатся отдельные модели в будущем.

Этот цикл — новый IP компании. Я называю его "машиной подъема". В отличие от большинства активов, он — эффект сложения. Каждое улучшение рабочего процесса создает лучший тренировочный сигнал, ускоряя накопление уникальных скрытых знаний. Компании, которые внедрят это рано, получат трудно воспроизводимое преимущество, независимо от будущих возможностей отдельных моделей.

Но что если компании, соблюдающие политику Anthropic по данным, уже сейчас достигают лучших результатов? Или если существующие компании сопротивляются, оставляя новым — или самим производителям моделей — шанс обойти их на рынке? Anthropic действительно проверяет решимость Наделлы.

Стремление к власти

Самое спорное в отношении политики хранения данных Fable/Mythos — это не самый противоречивый аспект выпуска. Скорее, Anthropic заявил, что если Fable будет использована для разработки LLM, его производительность снизится; в системных карточках указано:

Мы также внедрили меры защиты, связанные с разработкой передовых LLM. Как обсуждалось в разделе 6.1 нашего отчета о рисках за февраль 2026 года, мы обеспокоены рисками ускорения общего развития ИИ, хотя степень этих рисков еще не ясна. В частности, нас беспокоит — как мы писали тогда — "ускорение других разработчиков AI в создании мощных систем, подобных нашим, с аналогичными рисками, — без соответствующих мер защиты."

Учитывая, что последние модели уже обладают способностью ускорять собственное развитие, мы внедрили новые меры вмешательства, ограничивающие эффективность Claude при запросах, связанных с разработкой передовых LLM (например, построение предобучающих пайплайнов, инфраструктуры для распределенного обучения или проектирования ускорителей ML). Использование Claude для разработки конкурирующих моделей уже нарушает наши условия обслуживания, но принудительное применение этих мер помогает предотвратить ускорение тех, кто наиболее склонен нарушать правила.

В отличие от наших вмешательств в области кибербезопасности, биохимии и дистилляции, эти меры защиты невидимы для пользователя. Fable 5 не будет возвращаться к другой модели. Вместо этого меры защиты будут реализованы через изменение подсказок, векторные направления или эффективную тонкую настройку (PEFT). Эти меры не повлияют на большинство программных задач. Мы оцениваем, что они повлияют примерно на 0,03% трафика, сосредоточенного менее чем в 0,1% организаций. Когда эти меры вступят в силу, мы ожидаем, что они ограничат эффективность разработки передовых LLM, а влияние на поведение модели будет минимальным. Claude по-прежнему будет давать полезные ответы. После выпуска этой модели мы продолжим повышать точность методов обнаружения.

Anthropic отозвала эти меры — Fable передаст запросы, связанные с LLM, Opus 4.8 и уведомит пользователей о такой передаче — но я считаю, что изначальная политика очень поучительна. С одной стороны, я не обвиняю Anthropic в нежелании помогать конкурентам; с другой — очень ясно, что Anthropic считает, что кроме них никто не должен создавать передовые LLM.

Эта политика особенно заметна, потому что она была введена всего через два месяца после конфликта с министерством обороны: последний хотел использовать Claude для любых легальных целей, а первая — ввести более строгий контроль за мониторингом и автономным оружием. Эти меры снижения уровня модели показывают, что Anthropic способен и желает тайно менять свои модели в соответствии со своей политикой. Иными словами, Anthropic подтверждает опасения критиков о том, что они — главный риск в цепочке поставок.

Но более широкий вывод из этого — то, что Anthropic считает, что они должны иметь окончательное слово в использовании своих моделей; учитывая, что они считают, что только они должны разрабатывать передовой ИИ, они фактически считают, что только они должны иметь окончательное право на управление ИИ в целом. Когда это соединить с их заявлением о том, что ИИ способен вести все виды экономической деятельности, становится ясно: руководство Anthropic фактически хочет иметь власть над всем и всеми.

Нарратив о безопасности

Конечно, Anthropic никогда не скажет это прямо; вместо этого их история — о безопасности:

Я ожидаю, что Anthropic все больше будет открывать свои модели конечным пользователям через специально настроенные конечные точки для различных рабочих процессов, даже если начнут ограничивать API. Эти замены программного обеспечения и ограничения доступа будут оправданы со стороны безопасности, даже если Anthropic продолжит реализовывать свои экономические цели по приближению к конечным пользователям.

Объяснение изменений в политике хранения данных — безопасность. В частности, компания утверждает, что хранение всех данных пользователей в течение 30 дней необходимо для предотвращения утечек, вызываемых опасениями правительства США. Я, конечно, могу представить будущее, в котором соображения безопасности заставят их также использовать эти данные для обучения, чтобы лучше предотвращать злоупотребления.

История происхождения Anthropic укоренилась в убеждении основателей, что OpenAI не достаточно серьезно относится к безопасности; компания считает, что только они могут контролировать ИИ, и поскольку они уникально заботятся о безопасности, у них есть право пытаться контролировать всех остальных, включая правительство США.

Что касается этих причин, то проблема в том, что я считаю их эффективными — потому что для Anthropic они не являются причинами. Компания действительно верит, что она — единственная, кто верит в сверхразум, и единственная, кто достаточно обеспокоен опасностями. Это оправдывает каждое решение, каждую политику, каждую борьбу, — хотя для внешних наблюдателей это кажется цинизмом и наивностью одновременно.

В сравнении с OpenAI — огромная разница: я считаю, что понять, почему и как OpenAI потеряла лидерство, можно, если вспомнить, что после выпуска ChatGPT внутри компании шла борьба, и бывшая исследовательская лаборатория внезапно оказалась под грузом превращения в неожиданную потребительскую технологическую компанию; в процессе разрешения этого конфликта OpenAI утекло много талантов в Anthropic и другие компании.

С другой стороны, у Anthropic есть полное согласование между талантами, миссией и бизнесом. Компания может продавать исследователям видение создания машинных богов, с образом человека, заботящегося о безопасности и достаточно умного, чтобы противостоять опасностям; и каждое изменение политики в этом направлении — это, к счастью, совпадение, выгодное бизнесу.

Я уважаю такую согласованность, и одновременно боюсь ее. Уважаю — потому что она очень эффективна; наиболее близкий аналог — Apple, которая всегда прикрывает свои эгоистичные действия под предлогом заботы о пользователях — и зачастую действительно так делает. Anthropic — тоже. Но я боюсь, что позволить тем, кто уверен, что знает лучше всех, создавать смартфон, который я могу принять или отвергнуть, — это одно; а позволить им создавать сверхразум, способный конкурировать или превосходить национальные государства или крупные корпорации — гораздо более тревожно. История умных людей, уверенных, что знают, что нужно человечеству, — грязная, потому что они убеждают себя, что их намерения хороши, и дают повод для действий, которые таковыми не являются.