Від виходу з OpenAI до конфлікту з Пентагоном: як брат і сестра Anthropic накладають червоні лінії для ШІ, щоб уникнути краху цивілізації

Блумбергське інтерв’ю з засновником Anthropic, розкриваючи розрив з OpenAI та місію «безпека перш за все». У відповідь на конфлікти з контрактами з Пентагоном, попередження про масштабні безробіття та загрози від потужних моделей Mythos.
(Передісторія: Claude має 80% коду самостійно написаного, Anthropic закликає до «глобального механізму гальмування дизайну» — серйозно?)
(Додатковий фон: Генеральний директор Anthropic Dario Amodei: через 6-12 місяців китайські відкриті AI-моделі зможуть наздогнати Mythos)

Зміст статті

Перемикач

• Перша глава: закономірності та бачення експоненційного зростання
• Друга глава: від дитинства у Сан-Франциско до розриву з OpenAI
• Третя глава: визначення етики AI та «конституції»
• Четверта глава: корпоративні стратегії та криза безробіття
• П’ята глава: червоні лінії Пентагону та модель Mythos
• Шоста глава: як протистояти 25% ймовірності знищення?
• Заключення

У гонитві озброєнь у сфері AI Anthropic вважається найсильнішим конкурентом OpenAI і вже має перевагу. Ця компанія, заснована у 2021 році братами і сестрами Dario Amodei та Daniela Amodei, колишніми високопосадовцями OpenAI, з самого початку проголошувала «безпеку AI» як головний пріоритет, а їхній Claude отримав високу оцінку в галузі.

Однак з часом Anthropic опинилася у вирі влади та етики. Від конфліктів з контрактами з Пентагоном до загрозливого супермоделі Mythos, ця пара стоїть на передовій змін людської цивілізації.

Ведучий кореспондент Bloomberg Emily Chang особисто відвідує штаб-квартиру Anthropic у Сан-Франциско, щоб глибше зрозуміти цілі, внутрішні конфлікти та страхи цієї компанії із оцінкою майже у трильйон доларів. Нижче — основні моменти відео.

Перша глава: закономірності та бачення експоненційного зростання

Emily Chang: Мені дуже подобається ця бібліотека. Ви великий книголюбець?

Dario Amodei: Тут справді дуже красиво. Загалом я багато читаю, але чесно кажучи, за останній рік у мене майже не було вільного часу.

Emily Chang: Як вам вдається так швидко та часто оновлювати продукти?

Dario Amodei: Ми весь цикл розробки використовуємо Claude (свій власний модель). Це дозволяє нам дуже швидко випускати оновлення.

Dario Amodei: Це відчуття експоненційного зростання: спочатку здається, що нічого не відбувається, потім — дрібні події, і раптом — бах! Вони вибухають. Я давно спостерігаю цю закономірність і думаю: «Так, можливо, у якийсь момент ми станемо найбільш прибутковою та цінною AI-компанією». І так і сталося. Ми постійно думаємо: як тренувати хороші моделі? Як перетворювати їх у хороші продукти?

Найголовніше — як забезпечити безпеку всього цього.

Друга глава: від дитинства у Сан-Франциско до розриву з OpenAI

Emily Chang: Розкажіть про дитинство у Сан-Франциско. Ваш батько був шкіряним майстром, мати працювала у бібліотеці — як це вплинуло на вас?

Dario Amodei: Тоді відбувалася перша революція в інтернеті, але я зовсім не цікавився цим. Мене захоплювали математика, розуміння космосу та наукова фантастика. Я був дуже допитливий до світу.

Daniela Amodei (генеральний директор Anthropic): Dario з дитинства був дуже розумним. У середній школі він вже вивчав диференціальні рівняння, у коледжі — математику у Берклі. Я ж більше схилялася до читання та мистецтва. У нашому характері ми майже ідеально доповнюємо одне одного.

Примітка: у 2016 році Dario приєднався до заснованого тоді OpenAI, а Daniela — пізніше, у 2018. Dario там розробив знаменитий «закон масштабування», який передбачає, що збільшення даних і обчислювальної потужності робить моделі розумнішими. Ця теорія проклала шлях до успіху ChatGPT. Але у 2021 році брат і сестра вирішили піти — це вже стало легендою Кремнієвої долини.

Emily Chang: Ваша відмова від OpenAI стала «міфом» у Кремнієвій долині. У чому саме ви розійшлися?

Dario Amodei: Щодо «безпеки» — було багато обґрунтованих розбіжностей. Але сама розбіжність не стала причиною відходу. Головне — це «довіра». Коли ти відчуваєш, що цінності співпадають з тим, що говорить інша сторона, і що вона нечесна — тоді важко продовжувати співпрацю. Замість сперечатися з людьми без спільних цілей, краще зайнятися своїм.

Третя глава: визначення етики AI та «конституції»

Emily Chang: Claude має дуже унікальний стиль і людяний імідж. Що ви хочете цим передати?

Daniela Amodei: Ми називаємо це «професійною теплістю» (Professional Warmth). Мета — не зробити його вашим найкращим другом, а щоб він був близьким, але зберігав професійний дистанцій.

Emily Chang: Ви говорите про навчання Claude «ставати кращим». Що таке хороший модель? А що поганий?

Daniela Amodei: Ми не хочемо, щоб модель брехала — навмисно чи ні, це називається «галюцинація». Також потрібно переконатися, що модель не намагається навмисно обманути користувача. У визначенні «хорошого» і «поганого» немає єдиного глобального стандарту, але ми тренуємо її на основі таких документів, як Декларація прав людини ООН.

Цікаво, що ми навіть почали спілкуватися з релігійними лідерами, щоб закласти у модель цінності, які людство зберігало тисячоліттями.

Четверта глава: корпоративні стратегії та криза безробіття

Emily Chang: Чому ви зосередилися на бізнесі та програмуванні?

Dario Amodei: Бізнес-модель має відповідати цінностям. Світ соцмереж — це реклама і залежність. У бізнесі AI може лікувати хвороби, оптимізувати енергетику — це краще відповідає нашим цілям.

Boris Cherny (керівник Claude Code): Раніше інженери писали код вручну, тепер — Claude. Я керую цим процесом. Мені здається, що я отримав реактивний ранець, і роль інженера кардинально змінилася. У мене 100% коду — від Claude.

Emily Chang: Але це викликає побоювання. Ви передбачали, що AI може замінити половину початкових білого комірця? Зараз таке ж бачення?

Dario Amodei: Так, я все ще дуже занепокоєний. Зараз AI підвищує продуктивність, але коли автоматизація досягне 100%, що робитиме людина? Це неприємна реальність. Ми мусимо думати про базовий дохід (UBI) або політичні заходи.

Daniela Amodei: Я трохи більш оптимістична. Вважаю, що люди знайдуть нові способи використання AI, а людські взаємодії (наприклад, у медичних консультаціях) ніколи не зможе замінити AI.

П’ята глава: червоні лінії Пентагону та модель Mythos

Emily Chang: ЗМІ повідомляли, що Claude використовували для військових операцій проти Ірану, а також у Венесуелі.

Dario Amodei: Я — патріот і вважаю, що потрібно захищати демократію від авторитарних загроз. Але я поставив червону лінію: Claude не може використовуватися для «масового спостереження» або «повністю автоматизованої зброї». Коли Пентагон просив зняти обмеження безпеки, ми відмовили. Навіть якщо нас занесуть у чорний список або назовуть «лівими божевільцями», ми не відступимо.

Emily Chang: А що з моделлю Mythos? Кажуть, вона настільки потужна, що викликає страх.

Dario Amodei: Mythos знайшла майже всі вразливості у популярних операційних системах. Ті, хто її тестували, назвали її «суперзброєю».

Emily Chang: Ви вирішуєте, хто може її використовувати, а хто ні. Чи не є це зосередженням влади небезпечним?

Daniela Amodei: Це дуже складно. Ми мусимо балансувати між «запобіганням її використання для зломів банків і крадіжки секретів» і «допомогою захисникам». Ми не хочемо повторювати помилки соцмереж, коли після помилок доводиться вибачатися.

Шоста глава: як протистояти 25% ймовірності знищення?

Emily Chang: Ви казали, що ймовірність краху людської цивілізації — від 10% до 25%. Чому ви вірите, що зможете з цим впоратися?

Dario Amodei: Я використовую «абсолютну прозорість» для боротьби з цим. Кожні два тижні я виступаю перед усією командою на годину, відкрито. Це створює довіру і допомагає не почуватися самотнім.

Багато порівнюють нас із Оленом Обореном, який розробляв ядерну зброю і закликав до контролю за озброєннями. Але Dario вважає, що Оборен — радше «зразок невдачі».

Emily Chang: Хто з історичних постатей вам найбільше імпонує? Опенгеймер (Oppenheimer)?

Dario Amodei: Більше мені подобається Лео Ціллард (Leo Szilard), він першим ідею ланцюгової реакції. Опенгеймер — радше «зразок невдачі», бо не створив системи стримувань. Нам потрібні саме стримуючі механізми.

Emily Chang: Як у центрі цього божевілля ви знаходите спокій?

Dario Amodei: Чесно кажучи, це «метод експозиції». Іноді я граю з Daniela або з дружиною у ігри, або їду до Італії подивитися на наших коней «Каліпсо» (Calypso). Вони нічого не знають про AI, просто щасливі коні. Це — моя медитація.

Заключення

Emily Chang: Ви створюєте надзвичайно потужну технологію і будете на цьому заробляти. Чому нам варто вам довіряти?

Dario Amodei: Скептицизм цілком виправданий. Кремнієва долина втратила багато довіри. Довіра — не слова, а дії. Якщо ці люди не зможуть тримати свої обіцянки (зберігати межі), то й інші не зможуть. Ми не можемо гарантувати успіх, але можемо запевнити, що зробимо все можливе.