Глибоке розслідування «Нью-Йоркера»: чому внутрішні співробітники OpenAI вважають Altman ненадійним?

Оригінальний автор: 小饼, глибокий вплив TechFlow

Восени 2023 року головний науковець OpenAI Ілля Сутскеевер сидів за комп’ютером і завершив документ на 70 сторінок.

Цей документ упорядковано з записів Slack, HR-комунікаційних матеріалів і протоколів внутрішніх зустрічей — лише щоб відповісти на одне питання: Сема Альтмана, цього керманича, можливо, найнебезпечнішої технології в історії людства — чи можна йому довіряти?

Відповідь, яку дав Сутскеевер, записано в першій сторінці, першому рядку: назва списку — “Sam проявляє послідовний патерн поведінки…”

Перший пункт: брехня.

Через два з половиною роки сьогодні розслідувачі Ронан Фарроу та Ендрю Марранц у журналі «The New Yorker» опублікували наддовгий репортаж-розслідування. Поспілкувавшись із понад 100 учасниками подій, вони отримали внутрішні меморандуми, які раніше ніколи не публікувалися, а також понад 200 сторінок приватних нотаток, що їх залишив засновник Anthropic Даріо Амодей у період роботи в OpenAI. Історія, складена з цих документів, виглядає ще огиднішою, ніж та «інтрига» 2023 року: як OpenAI, крок за кроком, перетворилася з некомерційної організації, створеної заради безпеки людей, на бізнес-машину, і що майже кожен бар’єр безпеки був власноруч демонтований однією й тією самою людиною.

У висновку в нотатках Амодея все сказано простіше: «Проблема OpenAI — це сам Сем».

Сетап «першого гріха» OpenAI

Щоб зрозуміти вагу цього матеріалу, спочатку треба пояснити, наскільки ця компанія є особливою.

У 2015 році Альтман та група сіліконових еліт зробили в історії бізнесу майже безпрецедентну річ: використали неприбуткову організацію для розробки технології, яка, можливо, є найпотужнішою в історії людства. Обов’язки правління прописані дуже чітко: пріоритет — безпека, вище за успіх компанії, навіть вище за її виживання. Якщо простіше, то у випадку, якщо одного дня AI OpenAI стане небезпечним, правління має обов’язок власноруч закрити цю компанію.

Уся конструкція ґрунтується на припущенні: керівник, який управляє AGI, має бути надзвичайно чесною людиною.

Що, якщо помилитися в ставці?

Ключова бомба в центрі репортажу — той самий документ на 70 сторінок. Сутскеевер не грає в офісні політичні ігри, він один із найтоповіших AI-науковців у світі. Але у 2023 році він дедалі більше переконувався в одному: Альтман систематично розповідає брехню топменеджерам і членам правління.

Один конкретний приклад: у грудні 2022 року Альтман на засіданні правління запевнив, що низка функцій GPT-4, яку незабаром мали випустити, вже пройшла перевірки безпеки. Член правління Тонер попросив показати документи на затвердження, але виявилося, що дві з найбільш суперечливих функцій (кастомне тонке налаштування користувача та розгортання персонального помічника) взагалі не були схвалені на безпековій панелі.

Ще більш дивна історія сталася в Індії. Працівник доніс іншому члену правління про «ту саму невідповідність»: Microsoft не завершила необхідні перевірки безпеки, але раніше в Індії випустила ранню версію ChatGPT.

Сутскеевер також зафіксував у меморандумі ще одну річ: Альтман казав колишньому CTO Мірі Мурата, що процеси безпекового затвердження не надто важливі — генеральний юрисконсульт компанії вже погодив це. Мурата побігла до генерального юрисконсульта й уточнила, а у відповідь отримала: «Я не знаю, звідки Сем узяв таке враження».

Приватні нотатки Амодея на 200 сторінок

Документи Сутскеевера звучать як позовна заява прокурора. Понад 200 сторінок нотаток, залишених Амодеєм, більше схожі на щоденник очевидця, який описує події на місці злочину.

У ті роки, коли Амодей працював у OpenAI відповідальним за безпеку, він на власні очі бачив, як компанія під тиском бізнесу крок за кроком відступала назад. У нотатках він записав ключовий деталізований момент щодо інвестиційного кейсу Microsoft у 2019 році: він свого часу «вшив» у статут OpenAI пункт про «злиття та допомогу» — приблизно такий зміст: якщо інша компанія знайшла більш безпечний шлях до AGI, OpenAI має припинити конкуренцію і натомість допомагати цій компанії. Це була найбільш цінна для нього гарантія безпеки в усій угоді.

Коли угоду вже майже підписували, Амодей виявив одну річ: Microsoft отримала право вето на цей пункт. Що це означає? Навіть якби колись конкурент знайшов кращий шлях, Microsoft одним реченням могла б заблокувати обов’язок OpenAI допомагати. Пункт лишався на папері, але від дня підписання став порожнім папірцем.

Пізніше Амодей пішов з OpenAI й заснував Anthropic. Конкуренція між двома компаніями насправді зводиться до фундаментальної розбіжності про те, як має розвиватися AI.

Зниклі обіцянки щодо 20% обчислювальних потужностей

У репортажі є деталь, від якої стає моторошно після читання — про «команду супер-узгодження» OpenAI.

У середині 2023 року Альтман електронною поштою зв’язався з аспірантом, який досліджував у Берклі «deceptive alignment» (AI у тестах прикидається слухняним, а після розгортання робить своє). Він сказав, що дуже переймається цією проблемою, і розглядає створення глобальної дослідницької нагороди на 1 мільярд доларів. Аспірант був дуже вмотивований: взяв академічну відпустку і приєднався до OpenAI.

Потім Альтман передумав: відмовився від зовнішньої нагороди й створив у компанії «команду супер-узгодження». Компанія з помпою оголосила, що віддасть цій команді «20% потужностей, які вже є в наявності», потенційна цінність — понад 1 мільярд доларів. Формулювання оголошення було надзвичайно суворим: якщо проблему узгодження не буде вирішено, то AGI може призвести до «позбавлення людей влади, навіть до зникнення людства».

Призначений керувати цією командою Ян Лейк пізніше розповів журналістам, що сама ця обіцянка була ефективним «інструментом утримання талантів».

А як воно було насправді? Чотири люди, які працювали в цій команді або мали з нею тісний контакт, кажуть, що фактично виділені обчислювальні потужності становили лише 1%–2% від загальних потужностей компанії, і при цьому йшлося про найстаріше обладнання. Команду згодом розформували, місія не була виконана.

Коли журналіст попросив організувати інтерв’ю з людьми, відповідальними в OpenAI за дослідження «існування безпеки» (existential safety), реакція пресслужби компанії була і смішною, і сумною: «Це не… реальна річ».

Сам Альтман, навпаки, був спокійний. Він сказав журналістам, що його «інтуїція не дуже узгоджується з багатьма традиційними речами AI-безпеки», і що OpenAI все одно робитиме «проєкти з безпеки або принаймні проєкти, дотичні до безпеки».

Відсторонений CFO і майбутній IPO

Матеріал «The New Yorker» — це лише половина поганих новин за цей день. У той самий день The Information повідомив ще одну важливу новину: CFO OpenAI Сара Фріар посварилася з Альтманом через серйозні розбіжності.

Фріар приватно сказала колегам, що вважає: OpenAI ще не готова до виходу на біржу. Причини дві: обсяг процедурної та організаційної роботи, яку потрібно виконати, занадто великий; фінансові ризики надто високі через витрати на обчислювальні потужності на 5 років і 600 мільярдів доларів, які пообіцяв Альтман. Вона навіть не була певна, чи витримає ріст доходів OpenAI ці зобов’язання.

Але Альтман хоче «продавлювати» IPO вже в четвертому кварталі цього року.

Найдивніше інше: Фріар уже не звітує напряму Альтману. Починаючи з серпня 2025 року вона звітує Fidji Simo (CEO напрямку застосувань OpenAI). А Simo на тижні до цього взяла лікарняний через стан здоров’я. Подумайте самі: компанія, що «штовхає» IPO, має фундаментальні розбіжності між CEO і CFO; CFO не звітує CEO, а старша керівниця CFO — у відпустці.

Навіть керівники Microsoft всередині не змогли це терпіти. Вони сказали, що Альтман «спотворює факти, зраджує домовленості й безперервно скасовує те, що вже було узгоджено». Один керівник Microsoft навіть сказав: «Я думаю, що в нього є певна ймовірність, що врешті-решт його запам’ятають як шахрая на рівні Берні Медоффа або SBF».

Портрет «двурушника» Альтмана

Колишній член правління OpenAI описав журналістам дві якості, які притаманні Альтману. Цей уривок, ймовірно, є найжорсткішим портретом персонажа у всьому репортажі.

Цей член правління сказав, що в Альтмана є поєднання надзвичайно рідкісних характеристик: у кожній очній розмові він дуже сильно прагне сподобатися співрозмовнику, щоб йому подобалися. Водночас до наслідків, які може спричинити обман інших, у нього ставлення майже соціопатично байдуже.

Обидві якості одночасно в одній людині трапляються вкрай рідко. Але для продавця це — максимально досконалий талант.

У репортажі є вдале порівняння: Джобс відомий «полем викривлення реальності» — він міг змусити весь світ повірити в його бачення. Але навіть Джобс ніколи не казав клієнтам: «Якщо ви не купите мій MP3-плеєр, люди, яких ви любите, помруть».

Альтман казав щось подібне — про AI.

Проблема з репутацією CEO, чому це ризик для всіх

Якби Альтман був лише CEO звичайної технологічної компанії, то ці звинувачення були б хіба що чудовим бізнес-«смаколиком» із розмов на кухні. Але OpenAI — не звичайна.

За власними словами, компанія розробляє технологію, яка, можливо, є найпотужнішою в історії людства. Вона може змінити глобальну економіку та ринок праці (OpenAI щойно опублікувала політичний white paper про те, як AI спричиняє безробіття), але її також можна використати для створення масштабної біохімічної зброї або для запуску кібератак.

Усі запобіжники безпеки існують лише на папері. Некомерційна місія засновників поступилася місцем гонці за IPO. Колишній головний науковець і колишній відповідальний за безпеку вирішили, що CEO «не заслуговує довіри». Партнери порівнюють CEO з SBF. За таких умов — на якій підставі цей CEO одноосібно вирішує, коли випускати AI-модель, яка може змінити долю людства?

Гері Маркус (професор AI в Нью-Йоркському університеті, довгостроковий прихильник безпеки AI) після прочитання репортажу написав одне речення: якщо якась майбутня модель OpenAI зможе створювати масштабну біохімічну зброю або запускати катастрофічні кібератаки, чи ви справді довіряєте, щоб Altman один вирішував, випускати чи ні?

Відповідь OpenAI на «The New Yorker» була лаконічною: «Більша частина матеріалу — це переповідь уже висвітлених подій. Через анонімні формулювання та вибіркові анекдоти джерела, очевидно, мають власні цілі».

Так виглядає стиль відповіді Альтмана: не коментувати конкретні звинувачення, не заперечувати правдивість меморандумів — лише ставити під сумнів мотиви.

На тілі некомерційної організації виростає дерево з грошима

10 років OpenAI, якщо оформити як схему історії, виглядають так:

Група ідеалістів, які турбуються про ризики AI, створює місійно-орієнтовану некомерційну організацію. Організація досягає надзвичайних технологічних проривів. Прориви приваблюють величезний капітал. Капітал потребує віддачі. Місія починає відступати. Команда з безпеки розпускається. Скептиків «очищають». Некомерційна модель переробляється на прибуткову структуру. Раніше правління, яке мало право закрити компанію, тепер заповнене союзниками CEO. Раніше компанія обіцяла віддавати 20% потужностей для захисту безпеки людей, а тепер її PR-співробітники кажуть: «Це не те, що існує в реальності».

Головний герой — понад сотня очевидців, які пережили це особисто, — дають йому одне й те саме визначення: «не обмежений правдою».

Він уже готується провести IPO цієї компанії з оцінкою понад 850B доларів.

Інформація для цієї статті зведена з публічних матеріалів багатьох медіа, зокрема «The New Yorker», Semafor, Tech Brew, Gizmodo, Business Insider, The Information тощо.