Я только что прочитал кое-что, что меня очень сбило с толку. The New Yorker только что опубликовал масштабное расследование, в котором журналисты, такие как Ронан Фарроу, получили внутренние документы OpenAI, раскрывающие тревожную тенденцию: по всей видимости, Сэм Альтман систематически лгал совету директоров и руководству по критическим вопросам безопасности.

Отправной точкой является жесткая. Илья Сутскевер, главный ученый OpenAI, составил документ из 70 страниц пару лет назад, основанный на сообщениях Slack, коммуникациях HR и протоколах совещаний. Его вывод в первой строке: Сэм демонстрирует постоянный паттерн лжи. Конкретный пример, приведенный в расследовании: в декабре 2022 года Альтман заверил совет, что несколько функций GPT-4 прошли проверку безопасности. Когда потребовали ознакомиться с документами одобрения, выяснилось, что две из самых спорных функций так и не были проверены комиссией по безопасности.

Но то, что действительно привлекло мое внимание, — это то, что нашли в личных заметках Дарио Амодеи, основателя Anthropic и бывшего руководителя по безопасности в OpenAI. Более 200 страниц, где он документирует, как компания шаг за шагом откатывалась под давлением коммерческих интересов. Ключевая деталь: когда Microsoft инвестировала в 2019 году, она договорилась о включении пункта «слияния и поддержки», который якобы гарантировал, что если другой конкурент найдет более безопасный путь к AGI, OpenAI должен помочь. Звучит хорошо на бумаге. Проблема в том, что Microsoft также получила право вето по этому же пункту, что сделало его пустой обещанием с момента подписания.

Есть кое-что, что звучит почти абсурдно, но полностью реально: команда «супервыравнивания» OpenAI. Альтман публично объявил, что они выделят 20% существующей вычислительной мощности на исследования по выравниванию ИИ, с потенциальной ценностью более миллиарда долларов. Это было серьезное заявление, с упоминанием рисков исчезновения человечества и всего такого. Но когда журналисты поговорили с четырьмя людьми из этой команды, реальность оказалась другой: выделенная вычислительная мощность составляла всего 1–2% от общего, и к тому же это было устаревшее оборудование. Команда была распущена, не завершив свою миссию.

Пока это происходило, финансовый директор OpenAI, Сара Фрайар, имела серьезные разногласия с Альтманом по поводу возможного IPO. Фрайар считает, что компания еще не готова выйти на биржу в этом году, учитывая объем незавершенной работы и финансовые риски, связанные с обязательством Альтмана потратить 600 миллиардов на вычислительные мощности за пять лет. Но что странно: Фрайар уже не подчиняется напрямую Альтману, теперь она подчиняется Фиджи Симмо, которая недавно взяла отпуск по состоянию здоровья. Компания, готовящаяся к IPO с такими внутренними динамиками, — ну, довольно сложная.

Бывший член совета описал Альтмана двумя характеристиками одновременно: искренним желанием нравиться при каждой личной встрече, но в то же время почти социопатской безразличностью к последствиям обмана других. Эта комбинация, по словам отчета, редка у людей, но идеально подходит для продавца.

Меня беспокоит то, что это не просто корпоративные сплетни. OpenAI разрабатывает то, что они сами называют, возможно, самой мощной технологией в истории человечества. Технологией, которая может перестроить экономику, создать биохимическое оружие масштабом или осуществить кибератаки. А меры безопасности, якобы защищавшие от этих рисков, были демонтированы. Бывший главный ученый и бывший руководитель по безопасности считают генерального директора ненадежным. Руководители Microsoft сравнивают его с SBF.

Ответ OpenAI на The New Yorker был минимизирующим: они заявили, что статья повторяет уже сообщенные события, ссылаясь на анонимные утверждения. Альтман не ответил на конкретные обвинения, лишь поставил под сомнение мотивы источников.

Десять лет OpenAI: группа идеалистов создает некоммерческую организацию для защиты человечества от рисков ИИ. Добиваются выдающихся успехов. Капитал приходит огромный. Миссия начинает сдавать позиции. Команда по безопасности распускается. Критики исчезают. Структура без целей получения прибыли превращается в коммерческую организацию. Совет, который имел право закрыть компанию, теперь заполнен союзниками генерального директора. Компания, которая обещала выделять 20% своей мощности для защиты человеческой безопасности, теперь имеет представителей, заявляющих, что исследования по экзистенциальной безопасности «на самом деле не существуют».

И главный герой этой истории вот-вот выведет OpenAI на IPO с оценкой более 850 миллиардов долларов. Сотни свидетелей дали ему одинаковую характеристику: он не подлежит истине.