От ухода из OpenAI до конфликта с Пентагоном: как брат и сестра из Anthropic проводят красные линии для ИИ, чтобы избежать краха цивилизации

Блумбергское интервью с основателем Anthropic, раскрывающий разрыв с OpenAI и миссию «безопасность превыше всего». В условиях конфликта с контрактами с Пентагоном, предупреждений о массовой безработице и угрозы мощной модели Mythos.
(Предыстория: Claude пишет 80% кода сам, Anthropic призывает к «глобальному тормозу» в дизайне — всерьез?)
(Дополнительный фон: Генеральный директор Anthropic Dario Amodei: через 6-12 месяцев китайские открытые модели AI смогут догнать Mythos)

Содержание статьи

Переключить

• Глава 1: Законы и видения экспоненциального роста
• Глава 2: Детство в Сан-Франциско и разрыв с OpenAI
• Глава 3: Определение этики AI и «конституции»
• Глава 4: Корпоративные стратегии и кризис безработицы
• Глава 5: Красная линия Пентагона и модель Mythos
• Глава 6: Как справиться с 25% вероятностью уничтожения?
• Заключение

В гонке вооружений AI Anthropic считается одним из самых сильных конкурентов OpenAI, уже имея преимущество. Эта компания, основанная в 2021 году бывшими топ-менеджерами OpenAI Dario Amodei и его сестрой Daniela Amodei, с самого начала заявляла о приоритете «безопасности AI», а разработанный ею Claude получил высокую оценку в индустрии.

Однако со временем Anthropic оказалась в водовороте власти и этики. От споров с Пентагоном по контрактам до угрозы безопасности сети со сверхмоделью Mythos — эта пара, стоящая за компанией, стоит на передовой изменений в человеческой цивилизации.

Ведущий журналист Bloomberg Emily Chang лично посетила штаб-квартиру Anthropic в Сан-Франциско, чтобы глубже понять основные идеи, внутренние противоречия и страхи этой компании с оценкой почти в триллион долларов. Ниже — основные моменты интервью.

Глава 1: Законы и видения экспоненциального роста

Emily Chang: Мне очень нравится эта библиотека. Ты любишь читать?

Dario Amodei: Здесь действительно очень красиво. В целом я много читаю, но честно говоря, за последний год у меня почти не было свободного времени.

Emily Chang: Как вам удается так быстро и часто обновлять продукты?

Dario Amodei: Мы используем Claude (свою модель) на протяжении всего цикла разработки. Это позволяет нам выпускать обновления очень быстро.

Dario Amodei: Чувство этого экспоненциального роста такое: сначала кажется, что ничего не происходит, потом начинаются мелкие события, а затем — бах! Всё взрывается. Я давно наблюдаю за этим законом и думаю: «Да, вполне возможно, что в какой-то момент мы станем самой прибыльной и высокооцененной AI-компанией». И это действительно случилось. Мы постоянно задумываемся: как тренировать хорошие модели? Как превращать их в хорошие продукты?

Самое важное — обеспечить безопасность всего этого.

Глава 2: Детство в Сан-Франциско и разрыв с OpenAI

Emily Chang: Расскажи о своем детстве в Сан-Франциско. Твой отец — кожевник, мама работает в библиотеке. Как это повлияло на тебя?

Dario Amodei: Тогда происходила первая волна интернета, но мне было абсолютно не интересно. Я интересовался математикой, пониманием вселенной и научной фантастикой. У меня была сильная любознательность к миру.

Daniela Amodei (президент Anthropic): Dario с детства был очень умным. В средней школе он уже изучал дифференциальное исчисление, в колледже — математику в Беркли. А я склонялась к чтению и искусству. Мы практически дополняли друг друга по характеру.

Примечание: В 2016 году Dario присоединился к только что созданному OpenAI, а Daniela — в 2018. Там Dario разработал знаменитую «закон масштабирования», предсказавшую, что увеличение данных и вычислительных мощностей сделает модели умнее. Эта теория подготовила почву для успеха ChatGPT. Но в 2021 году братья и сестры Amodei ушли, став легендой Кремниевой долины.

Emily Chang: Решение покинуть OpenAI стало «мифом» в Кремниевой долине. В чем причина разногласий?

Dario Amodei: В вопросах «безопасности» есть много разумных разногласий. Но сама разница мнений недостаточна для ухода. Истинное ядро — в «доверии». Когда ты чувствуешь, что ценности другого не совпадают с его словами, и что он не честен, трудно продолжать сотрудничество. Лучше делать свое дело, чем спорить с теми, у кого нет общего видения.

Глава 3: Определение этики AI и «конституции»

Emily Chang: Claude имеет очень особый стиль и человечное имя. Что вы хотите этим сказать?

Daniela Amodei: Мы называем это «профессиональной теплотой» (Professional Warmth). Цель — не сделать его лучшим другом, а чтобы он был близким, но сохранял профессиональную дистанцию.

Emily Chang: Вы говорите, что учите Claude «становиться лучше». Что такое хороший модель? А что — плохой?

Daniela Amodei: Мы не хотим, чтобы модель лгала — ни случайно, ни умышленно, это мы называем «галлюцинациями». Также важно, чтобы модель не пыталась специально обмануть пользователя. В определении «хорошего» и «плохого» нет единого глобального стандарта, но мы используем такие документы, как Всеобщая декларация прав человека ООН, чтобы обучать её.

Интересно, что мы даже начали диалог с религиозными лидерами о том, как внедрить в модель ценности, которые человечество совместно охраняет уже тысячи лет.

Глава 4: Корпоративные стратегии и кризис безработицы

Emily Chang: Почему вы сосредоточились на бизнесе и программировании?

Dario Amodei: Модель бизнеса должна соответствовать ценностям. В мире соцсетей доминируют реклама и зависимость. В бизнесе AI может лечить болезни, оптимизировать энергетику — это ближе к нашим целям.

Boris Cherny (ответственный за код Claude): Раньше инженеры писали код вручную, теперь Claude пишет код, а я руководю процессом. У меня словно реактивный ранец, роль инженера кардинально меняется. Весь мой код — на 100% создан Claude.

Emily Chang: Но это вызывает опасения. Ты предсказывал, что AI может заменить половину начального уровня белых воротничков. Всё ещё так считаешь?

Dario Amodei: Да, я всё ещё очень обеспокоен. Сейчас AI повышает производительность, но когда автоматизация достигнет почти 100%, что делать людям? Это неприятная правда. Нужно думать о базовом доходе или других мерах.

Daniela Amodei: Я немного более оптимистична. Думаю, люди найдут новые способы использовать AI, а взаимодействие между людьми — например, в медицинской диагностике — AI никогда не сможет полностью заменить.

Глава 5: Красная линия Пентагона и модель Mythos

Emily Chang: СМИ сообщают, что Claude использовался для военных операций против Ирана и даже в действиях в Венесуэле.

Dario Amodei: Я — патриот, считаю, что нужно защищать демократию от авторитарных угроз. Но я поставил красную линию: Claude не должен использоваться для «массового слежения» или «автоматического оружия». Когда Пентагон просил убрать меры безопасности, мы отказались. Даже если нас внесут в черный список или назовут «левыми сумасшедшими», мы не отступим.

Emily Chang: А что насчет модели Mythos? Говорят, она настолько мощная, что вызывает страх.

Dario Amodei: Mythos обнаружила почти все уязвимости в популярных операционных системах. Тестировавшие её компании называют её «супероружием».

Emily Chang: Вы решаете, кто может использовать её, а кто — нет. Не опасно ли сосредоточение такой власти?

Daniela Amodei: Это очень сложно. Нужно балансировать между «предотвращением использования для взлома банков и кражи секретов» и «помощью защитникам». Не хотим повторять ошибки соцсетей, когда всё выходит из-под контроля, и приходится извиняться.

Глава 6: Как справиться с 25% вероятностью уничтожения?

Emily** Chang:** Ты говорил, что у человечества есть 10-25% риска краха. Почему ты считаешь, что ваша команда сможет справиться с этим давлением?

Dario Amodei: Я использую «абсолютную прозрачность» для борьбы с этим. Каждые две недели я выступаю перед всей командой с часовой речью, открыто обсуждая всё. Это создает доверие и помогает не чувствовать себя одиноким.

Многие сравнивают нас с Оppenheimer, который продвигал ядерное оружие, а потом призывал к контролю. Но Dario считает, что Оppenheimer — в некотором смысле, «неудачный пример».

Emily Chang: Кто из исторических личностей вам ближе всего? Оppenheimer?

Dario Amodei: Я больше себя вижу в Лeo Szilard — он первым придумал цепную реакцию. Оppenheimer — в некотором смысле, пример неудачи, потому что он не создал систему сдержек и противовесов. Нам нужны именно такие механизмы.

Emily Chang: В центре этого безумия, как ты находишь спокойствие?

Dario Amodei: Честно говоря, это «метод экспозиционной терапии». Иногда я играю в игры с Daniela или женой, или езжу в Италию смотреть на наших лошадей «Калипсо» (Calypso). Они ничего не понимают в AI, просто счастливые лошади. Это — мой дзен.

Заключение

Emily Chang: Вы создаете невероятно мощные технологии и будете за это получать прибыль. Почему мы должны вам доверять?

Dario Amodei: Скептицизм — естественное чувство. В Кремниевой долине много потерянного доверия. Доверие нельзя купить словами — его нужно подтверждать делами. Если эти люди не смогут держать свои обещания (соблюдать границы), то, возможно, никто не сможет. Мы не можем гарантировать успех, но можем обещать, что сделаем все возможное.