«The New Yorker» глибоке розслідування: Чому співробітники OpenAI вважають Altman ненадійним?

На тілі неприбуткової мерії виросло дерево, яке приносить гроші.

Автор: Сяо Бін, глибокий潮 TechFlow

У 2023 році восени головний науковець OpenAI Ілля Суцкевер сидів перед комп’ютером і завершив файл обсягом 70 сторінок.

Цей документ упорядковано з історій повідомлень у Slack, HR-комунікаційних матеріалів і протоколів внутрішніх зустрічей — лише щоб відповісти на одне питання: Сем Альтман, керівник того, що, можливо, є найнебезпечнішою технологією в історії людства, — йому взагалі можна довіряти?

Відповідь, яку дав Суцкевер, записано в першій сторінці, в першому рядку: заголовок списку — “Сем демонструє послідовний патерн поведінки…”

Перше: брехня.

Через два з половиною роки сьогодні журналісти-розслідувачі Ронан Ферроу й Ендрю Марентц у журналі The New Yorker опублікували надзвичайно тривалу розслідувальну статтю. Вони опитали понад 100 причетних осіб, отримали внутрішні меморандуми, які раніше ніколи не оприлюднювалися, а також понад 200 приватних нотаток, залишених Даріо Амодеї, засновником Anthropic, під час його роботи в OpenAI. Історія, складена з цих документів, виглядає ще огидніше, ніж та “інтрига” 2023 року: як OpenAI з некомерційної організації, створеної заради безпеки людей, крок за кроком перетворився на бізнес-машину — і майже кожен запобіжник з безпеки було власноруч демоновано однією й тією ж людиною.

Висновок Амодеї в його нотатках ще пряміший: “Проблема OpenAI — у самому Семе.”

“Первісний гріх” налаштування OpenAI

Щоб зрозуміти вагу цієї публікації, спершу треба пояснити, наскільки особливою є ця компанія.

У 2015 році Альтман і група сіліконових вельмож зробили майже безпрецедентну для історії бізнесу річ: вони розробляли потенційно наймогутнішу технологію в історії людства за допомогою неприбуткової організації. Обов’язки ради директорів були прописані дуже чітко: пріоритет — безпека над успіхом компанії, навіть над її виживанням. Простіше кажучи, якби колись AI OpenAI став небезпечним, рада директорів мала б обов’язок власноруч закрити цю компанію.

Уся конструкція спиралася на припущення: людина, яка керує AGI, має бути надзвичайно чесною.

А якщо ставка була зроблена не на того?

Головна “бомба” розслідування — той самий документ на 70 сторінок. Суцкевер не грає в офісну політику — він один із найтоповіших у світі науковців з AI. Але станом на 2023 рік він усе більше переконувався в одній речі: Альтман систематично бреше керівникам і членам ради директорів.

Один конкретний приклад: у грудні 2022 року Альтман на засіданні ради запевнив, що кілька функцій майбутнього GPT-4 уже пройшли перевірки безпеки. Член ради Тонер попросив показати документи з дозволами, але з’ясувалося, що дві найбільш спірні функції (кастомне файнтюнінгування користувачем і розгортання персонального асистента) взагалі не отримали схвалення через панелі безпеки.

Ще дивніше сталося в Індії. Один працівник доніс іншому члену ради директорів про “ту саму” порушену ситуацію: Microsoft не завершила необхідні перевірки безпеки й рано в Індії випустила ранню версію ChatGPT.

Суцкевер також записав у меморандумі ще одну річ: Альтман говорив колишньому CTO Мірі Мураті, що процес схвалення безпеки не такий уже й важливий, адже його вже визнав юридичний радник компанії. Мураті побігла підтвердити це в юридичного радника — у відповідь той сказав: “Я не знаю, звідки Сем узяв таке враження”.

Приватні нотатки Амодеї на 200 сторінок

Документи Суцкевера схожі на обвинувальний акт прокурора. Нотатки Амодеї — більше ніж 200 сторінок — більше схожі на щоденник очевидця, який писав у день злочину.

У роки, коли Амодеї працював в OpenAI на посаді відповідального за безпеку, він на власні очі бачив, як компанія крок за кроком відступала під тиском комерції. У своїх нотатках він записав ключову деталь угоди з інвестиціями Microsoft у 2019 році: він свого часу “вшив” у статут OpenAI пункт про “злиття та допомогу” — приблизно таке: якщо інша компанія знайшла б безпечніший шлях до AGI, OpenAI має припинити конкуренцію й перейти на допомогу цій компанії. Це було найбільш важливим запобіжником безпеки для нього в усій угоді.

Коли угода вже була на фінішній прямій, Амодеї виявив одну річ: Microsoft отримала право вето щодо цього пункту. Що це означає? Навіть якби колись якийсь конкурент знайшов кращий шлях, Microsoft одним реченням могла б перекрити обов’язок OpenAI допомагати. Пункт ще існував на папері, але від дня підписання він став просто макулатурою.

Пізніше Амодеї залишив OpenAI й заснував Anthropic. Конкуренція між двома компаніями на базовому рівні — це фундаментальна розбіжність у тому, “як має розвиватися AI”.

Зникла обіцянка щодо 20% обчислювальних потужностей

У матеріалі є деталь, після якої стає моторошно — про “суперузгоджувальну команду” OpenAI.

У середині 2023 року Альтман написав електронний лист доктору наук, який навчався в Берклі та досліджував “маніпулятивне узгодження” (AI у тестах поводиться мило, а вже в реальному розгортанні влаштовує свою програму). Альтман сказав, що дуже занепокоєний цією проблемою, і розглядає створення глобальної наукової нагороди на 1 мільярд доларів. Докторант дуже надихнувся, взяв академічну відпустку та приєднався до OpenAI.

Потім Альтман передумав: не робити зовнішню нагороду, а створити всередині компанії “суперузгоджувальну команду”. Компанія гучно оголосила, що “20% наявних обчислювальних потужностей” буде віддано цій команді — потенційна цінність понад 1 мільярд доларів. Формулювання в оголошенні були надзвичайно суворими: якщо проблема узгодження не буде вирішена, AGI може призвести до “позбавлення людей влади — аж до знищення людства”.

Згодом Джен Лейк, якого призначили очолювати цю команду, розповів журналістам, що сама ця обіцянка — це дуже ефективний “інструмент утримання талантів”.

Як же було насправді? Чотири особи, які працювали в цій команді або мали з нею тісний контакт, заявили, що фактично виділені обчислювальні потужності становили лише 1%–2% від загальних потужностей компанії, та ще й найстарішим обладнанням. Цю команду згодом розпустили, місія не була виконана.

Коли репортери звернулися з проханням взяти інтерв’ю в працівників OpenAI, відповідальних за дослідження “безпеки існування”, реакція пресслужби компанії була аж смішною й водночас сумною: “Це не… реальна річ, яка існує”.

Альтман сам, натомість, був спокійним. Він сказав журналістам, що його “інтуїція не дуже добре збігається з багатьма традиційними речами безпеки AI”; при цьому OpenAI все одно буде робити “проєкти з безпеки — або принаймні проєкти, які дотичні до безпеки”.

Зрізаний CFO та IPO, що вже на підході

Розслідування The New Yorker — це лише половина поганих новин цього дня. У той самий день The Information повідомило ще одне гучне: між CFO OpenAI Сарах Фріар і Альтманом сталося серйозне розходження.

Фріар приватно розповіла колегам, що, на її думку, OpenAI цього року ще не готовий до виходу на біржу. Причини дві: обсяг процедурних і організаційних робіт надто великий, а фінансові ризики, пов’язані з витратами на обчислювальні потужності на 5 років у розмірі 600 мільярдів доларів, які пообіцяв Альтман, надто високі. Вона навіть не була впевнена, чи витримають обіцянки темпи зростання доходів OpenAI.

Але Альтман хоче вийти на IPO вже в четвертому кварталі цього року.

Ще дивніше: Фріар уже не звітує напряму Альтману. З серпня 2025 року вона стала звітувати перед Фіджі Сімо (CEO напрямку прикладних бізнес-рішень OpenAI). А Сімо минулого тижня взяла лікарняний через стан здоров’я. Подивіться на ситуацію: компанія, яка готується до ривка в IPO, має фундаментальні розбіжності між CEO і CFO, CFO не звітує CEO, а керівник CFO ще й пішов у відпустку через хворобу.

Навіть керівники всередині Microsoft, судячи з усього, не змогли це терпіти: вони сказали, що Альтман “спотворює факти, відмовляється від своїх слів і постійно перекреслює домовленості, які вже були досягнуті”. Один із керівників Microsoft навіть сказав таке: “Я думаю, є певна ймовірність, що врешті-решт його запам’ятають як шахрая на рівні Берні Медофа або SBF”.

Портрет “двохличника” Альтмана

Одна з колишніх членів ради директорів OpenAI описала для журналістів дві риси, які властиві Альтману. Цей фрагмент — можливо, найжорсткіше портретування персонажа в усьому матеріалі.

Ця член ради сказала, що в Альтмана є поєднання дуже рідкісних характеристик: у кожній очній розмові він має сильну потребу догодити співрозмовнику, бути йому приємним. Водночас він ставиться до наслідків, які може принести обман інших, майже з соціопатичною байдужістю.

Дві такі риси одночасно в одній людині — вкрай рідкісні. Але для продавця це — найідеальніший талант.

У матеріалі є вдале порівняння: Джобс відомий “полем викривлення реальності” — він міг змусити весь світ повірити в його бачення. Але навіть Джобс ніколи не казав клієнтам: “Якщо ви не купите мій MP3-програвач, люди, яких ви любите, помруть”.

Альтман казав схожі речі — про AI.

Проблема з людськими якостями CEO: чому це ризик для всіх

Якби Альтман був лише CEO звичайної технологічної компанії, ці звинувачення були б максимум яскравими корпоративними плітками. Але OpenAI — не звичайний.

За його власними словами, він розробляє технологію, яка може бути найпотужнішою в історії людства. Її можна використати для перебудови глобальної економіки й ринку праці (OpenAI щойно опублікував політичний документ-White Paper про проблему безробіття, спричиненого AI), а також її можна використати для створення масштабної біохімічної зброї або для запуску кібератак.

Усі запобіжники з безпеки стали ні на що не придатними. Некомерційна місія засновників поступилася місцем ривку до IPO. Колишній головний науковець і колишній відповідальний за безпеку визнали, що CEO “недовірюваний”. Партнери порівнюють CEO з SBF. За таких умов — на якій підставі цей CEO одноосібно вирішує, коли випускати AI-моделі, які потенційно можуть змінити долю людства?

Гері Маркус (професор AI в Нью-Йоркському університеті та давній адвокат безпеки AI) після прочитання матеріалу написав одну фразу: якщо якась майбутня модель OpenAI зможе створити масштабну біохімічну зброю або запустити катастрофічні кібератаки — чи ви справді готові довірити Альтману одному вирішувати, випускати її чи ні?

Відповідь OpenAI на The New Yorker була лаконічною: “Більшість змісту цієї статті — це перемелювання вже описаних подій. Подаючи повідомлення через анонімні формулювання та вибіркові анекдоти, джерела очевидно мають особистий мотив.”

Вельми у стилі Альтмана: не відповідати на конкретні звинувачення, не заперечувати автентичність меморандуму — лише ставити під сумнів мотиви.

На тілі неприбуткової організації виросло дерево, яке приносить гроші

Десятиліття OpenAI, якщо скласти його у вигляді сюжетного плану, виглядає так:

Група ідеалістів, які турбуються про ризики AI, створює місіонерську неприбуткову організацію. Організація здійснює виняткові технологічні прориви. Прориви приваблюють великі обсяги капіталу. Капітал потребує віддачі. Місія починає відступати. Команду з безпеки розпускають. Скептиків очищають. Неприбуткову структуру переробляють на комерційну сутність. Колись уповноважена рада директорів, яка могла зупинити компанію, тепер наповнена союзниками CEO. Колись компанія, яка обіцяла віддати 20% обчислювальних потужностей задля безпеки людей, тепер через PR-менеджерів каже: “Це не є реальною річчю, яка існує”.

Головний герой — понад сотня людей, які пережили це на власному досвіді, дали йому ту саму етикетку: “незв’язаний правдою”.

Зараз він готується винести цю компанію на IPO з оцінкою понад 850 млрд доларів США.

Ця стаття інформаційно узагальнює опубліковані повідомлення багатьох медіа, зокрема The New Yorker, Semafor, Tech Brew, Gizmodo, Business Insider, The Information та інших.

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріпити