Інтерв'ю з Сэмом Альтманом: Насправді я теж не дуже розумію, що відбувається всередині штучного інтелекту

Автор: Нік Томпсон, CEO The Atlantic; переклад: Літоджіньо Маленький Робітник, Літоджіньо BlockBeats

Цього інтерв’ю записано у квітні 2025 року, незабаром після нападу на будинок Сам Альтмана у Сан-Франциско за допомогою Молотових коктейлів та кількох днів до стрітової стрілянини, місце — офіс OpenAI у Сан-Франциско. Уся розмова найцікавіша не через популярні теми, а через зміну позицій Альтмана щодо кількох ключових питань:

Перше — від «безпеки ШІ» до «стійкості ШІ». Альтман зізнається, що три роки тому він вважав, що достатньо налаштувати вирівнювання моделей і запобігти потраплянню технологій до поганих людей, і світ буде в цілому безпечним. Але сьогодні він визнає, що ця модель вже недостатня. Наявність відкритих передових моделей означає, що одностороння стриманість лабораторій не здатна зупинити поширення ризиків, таких як біологічна зброя чи кібернапади. Він вперше системно висунув ідею, що суспільству потрібна не «безпека ШІ» (safety), а «стійкість ШІ» (resilience), — це комплексний багаторівневий захист у всьому суспільстві.

Друге — правда про пояснюваність. Альтман рідко визнає, що OpenAI досі не має повноцінної системи пояснюваності. Ланцюжки мислення — найбільш перспективний напрямок, але вони вразливі, їх можна обдурити моделлю, і вони — лише «одна частина головоломки». Він наводить знаменитий експеримент Anthropic — «сова», коли модель через випадкові числа передає переваги — щоб показати, що у цих системах існує справжня, глибока таємничість.

Третє — синтетичні дані, можливо, вже пройшли набагато далі, ніж здається. Коли його запитали, чи OpenAI тренує моделі виключно на синтетичних даних, Альтман відповів: «Я не впевнений, чи варто казати». Він вірить, що синтетичних даних достатньо, щоб навчити модель високого рівня логіки, що перевищує людські можливості. Це має глибокі наслідки для майбутніх парадигм тренування моделей.

Четверте — песимістична оцінка майбутньої економіки. Альтман погоджується з Томпсоном, що найімовірніше AI призведе до двохполярного майбутнього: кілька компаній дуже багаті, решта світу — у глибокій кризі. Він вже не вірить у базовий дохід, натомість підтримує ідею колективної власності на обчислювальні ресурси або акції. Також він рідко визнає, що різниця у швидкості впровадження AI між Китаєм і США — це важливий фактор, і більше турбується не про дослідження, а про інфраструктуру.

П’яте — відкрито обговорюється напруженість з Anthropic. Відповідаючи на питання Томпсона про те, що «Anthropic створює компанію, яка ненавидить OpenAI», Альтман не уникає. Він визнає, що між ними є фундаментальні розбіжності щодо шляху до AGI, але все ж вірить, що «зрештою вони зроблять правильне». Також він згадує про «синдром підлабузництва» у ChatGPT, про те, як AI змінює стиль письма мільярдів користувачів, про нову економіку мікоплатежів у медіа, і про свою несподівану думку щодо молоді — їхню тривогу щодо AI, яка, на його думку, є проекцією інших страхів.

Нижче наведено оригінал інтерв’ю, з деякими редагуваннями та скороченнями без зміни змісту.

Томпсон: Ласкаво просимо до «Найцікавішого в AI». Дякую, що знайшли час у цю напружену та насичену тиждень. Хочу почати з тем, які ми вже обговорювали кілька разів.

Три роки тому, коли ви давали інтерв’ю Patrick Collison, він запитав, що зміни могли б зробити вас більш впевненим у хороших результатах і менш — у поганих. Ви тоді відповіли, що якщо ми зможемо справді зрозуміти, що відбувається на рівні нейронів. Рік тому я знову ставив вам те саме питання, і півроку тому ми говорили про це. Тепер я знову питаю: чи розуміння роботи AI співпадає з темпами зростання його можливостей?

Альтман: Спершу відповім на це питання, а потім повернуся до питання Patrick, бо моя відповідь на нього значно змінилася.

Щодо нашого розуміння, що роблять моделі AI. Я вважаю, що досі у нас немає повноцінної системи пояснюваності. Це стало кращим, але ніхто не скаже, що я цілком розумію, що відбувається у кожному нейроні.

Ланцюжки мислення — перспективний напрямок, але вони вразливі, їх можна обдурити, і це лише «одна частина головоломки». Я не можу зробити МРТ мозку і точно побачити, що там відбувається. Якщо я поясню, чому щось вірю або як дійшов висновку, можливо, це — мій спосіб мислення, а можливо, ні. Люди часто не здатні до внутрішньої рефлексії. Але незалежно від цього, ви можете подивитися на логіку і сказати: «Добре, за цими кроками цей висновок — логічний».

Ми можемо робити щось подібне з моделями — це прогрес. Але я все одно можу уявити, що модель може обдурити, приховати щось, і тоді довіряти їй буде ризиковано. Це ще не рішення.

Навіть у власному досвіді роботи з моделлю я був переконаний, що Codex не повинен повністю керувати моїм комп’ютером у режимі «YOLO». Але через кілька годин я зламався.

Томпсон: Тобто Codex може керувати всім твоїм комп’ютером?

Альтман: Чесно кажучи, у мене їх дві.

Томпсон: У мене теж.

Альтман: Я можу приблизно бачити, що робить модель, і вона може пояснити, чому так — і я довіряю, що вона майже завжди виконає те, що сказала.

Томпсон: Стоп. Ланцюжки мислення — це те, що видно всім: ти ставиш питання — і там показано, що модель «шукає», «перевіряє», «робить висновки». Щоб це було пояснювано, модель має бути чесною і не обманювати. Адже іноді вона може обдурити, приховати щось. Як тоді довіряти цим ланцюжкам?

Альтман: Ти маєш додати ще багато рівнів захисту, щоб переконатися, що модель говорить правду. Наша команда з вирівнювання багато працює в цьому напрямку. Це — не повне рішення, лише частина. Потрібно перевіряти, що модель виконує саме те, що потрібно, і не обманює. Ми вже опублікували дослідження, що показують, коли вона не виконує.

Це — лише частина головоломки. Не можна цілком довіряти, що модель завжди буде чесною. Потрібно шукати обман і дивні поведінки. Але ланцюжки мислення — важливий інструмент.

Томпсон: Мене дуже захоплює, що AI — це не як автомобіль. Автомобіль ти створюєш — і знаєш, як він працює: запалювання — вибух — рух — і ти їдеш. А AI — це щось інше. Ти створюєш машину, і ти не зовсім розумієш, як вона працює, але знаєш, що вона може робити і де її межі. Тому дослідження внутрішніх механізмів — дуже цікаве.

Мені подобається дослідження Anthropic, яке вийшло минулого літа і тепер опубліковане. Там модель «любить сов», і їй дають випадкові числа — і вона через них передає переваги. Потім навчають нову модель на цих числах — і вона теж любить сов. Це дивно. Вона може писати вірші про сов, маючи лише числа.

Це означає, що у цих системах — справжня таємничість. І це мене турбує: якщо модель може передавати приховану інформацію, яку люди не помічають, — це може бути небезпечно.

Альтман: Коли я був у п’ятому класі, я був дуже захоплений, бо думав, що зрозумів, як працюють крила літака. Вчитель пояснив — і я почув себе крутим. Я сказав, що повітряні молекули швидше проходять над крилом з верхнього боку, тому тиск там менший, і крило піднімає літак.

Я вірив цій схемі, і навіть розповідав батькам. Але в старших класах я зрозумів, що я просто повторював цю ідею, і насправді не розумів, як працює літак. І зараз я теж не можу сказати, що цілком розумію.

Томпсон: Так.

Альтман: Можу пояснити приблизно, але якщо запитати — чому саме повітря швидше проходить зверху — я не зможу дати глибоку відповідь.

Я можу пояснити, чому у сови з’явилася ця поведінка у дослідженні, і вказати, що це — через те, що таке й таке. Але чесно кажучи, я не зовсім розумію, чому крило літака піднімає літак.

Томпсон: Але ж ти керуєш OpenAI, а не Boeing.

Альтман: Так. Можу розповісти, як зробити модель більш надійною, але фізика — це загадка. Якби я керував Boeing, можливо, знав би, як зробити літак, але не розумів усіх фізичних процесів.

Томпсон: Повернемося до сов. Якщо моделі можуть передавати приховану інформацію, яку люди не помічають, — це може бути небезпечно. Можливо, модель передає щось через ланцюжки чисел, і ми цього не помічаємо.

Альтман: Тому я зараз дам іншу відповідь на питання Patrick Collison.

Томпсон: Це було три роки тому.

Альтман: Так. Три роки тому я думав, що потрібно просто правильно налаштувати вирівнювання моделей і запобігти їхньому потраплянню до поганих рук — і тоді все буде добре. Це були два головних ризики: щоб AI не шкодив людям і щоб його не використовували для зла. Якщо їх уникнути, решта — питання економіки і сенсу.

З часом я побачив інше: тепер я бачу зовсім інші проблеми. Ми почали говорити про «стійкість ШІ» замість «безпеки».

Звичайні сценарії — що просто налаштувати моделі і не давати їх відкривати біологічну зброю — вже недостатньо. Адже з’являються відкриті моделі. Тому потрібно створювати кілька рівнів захисту.

Томпсон: Зачекай, це важливо. Тобто навіть якщо ти заборониш моделям допомагати створювати біологічну зброю, все одно з’являться відкриті моделі, і хтось зможе це зробити?

Альтман: Це — один із прикладів. Це показує, що суспільство має реагувати на нові загрози на рівні всього суспільства. У нас з’явилися нові інструменти, але ситуація вже зовсім інша, ніж уявляли раніше. Вирівнювання моделей і безпечні системи — важливі, але AI проникне у всі сфери життя. Як і з іншими новими технологіями, потрібно бути готовими до нових ризиків.

Томпсон: Звучить складніше.

Альтман: Так і складніше, і легше водночас. В деяких аспектах — складніше, але з’явилися нові потужні інструменти для захисту.

Наприклад, кібербезпека. Моделі вже дуже добре вміють «зламувати» системи. На щастя, ті, хто має найпотужніші моделі, дуже обережні щодо зломів. Тому зараз — час, коли кілька компаній використовують найкращі моделі для зміцнення систем. Якщо не зробити цього швидко, зломи стануть доступними у відкритому доступі або у рук супротивників.

Ми маємо нову загрозу і нові інструменти для її протидії. Головне — діяти швидко. Це — приклад, що технологія може допомогти запобігти проблемі ще до її виникнення.

Ще один приклад — поширення в мережі. Моделі вже дуже добре «проникають» у комп’ютерні системи. На щастя, у тих, хто має найпотужніші моделі, дуже обережні. Але якщо не діяти швидко, зломи стануть масовими і дуже небезпечними.

Ми маємо нову загрозу і нові інструменти для її запобігання. Головне — діяти швидко.

Ще один приклад — агенти, що виходять у світ і взаємодіють між собою. Це — новий рівень ризику. Ми раніше не думали про те, що «неправильна поведінка» може передаватися від одного агента до іншого. Але тепер це — реальність.

Томпсон: Тобто, якщо хтось створить агента, який навчився зловживати, і він почне взаємодіяти з іншими агентами — це може призвести до катастрофи?

Альтман: Так. Це — новий виклик. Ми використовуємо наш досвід і підходи, щоб зменшити цей ризик. Це — баланс між прагматизмом і оптимізмом.

Ми віримо, що поступово зможемо навчитися керувати цим процесом. Важливо — не зупинятися і вчитися на реальності.

Томпсон: Тобто, посилаючи агентів у світ, ми можемо дізнатися, що станеться?

Альтман: Саме так. Це — необхідний шлях. Ми не можемо просто сидіти і гадати. Потрібно вчитися на реальних даних.

Томпсон: Тобто, ви вважаєте, що AI допомагає нам швидше розвивати самих себе?

Альтман: Не зовсім. Ми ще не в етапі самовдосконалення, коли AI самостійно створює нові покоління AI. Але зараз AI робить нашу роботу ефективнішою. Можливо, я можу зробити інженера в 10 разів продуктивнішим. Це — не те саме, що саморозвиток, але вже прискорює процес.

Звичайно, це — не раптовий прорив. Перед цим був перехід від GPT-3.5 до нових моделей — і це сталося дуже швидко. Це — не поступовий процес, а різкий перехід через поріг.

Зараз я бачу, що моделі вже здатні виконувати складні задачі, які раніше були недосяжні. Це — не поступовий прогрес, а прорив.

Томпсон: Тобто, ми не в етапі, коли AI самостійно покращує себе?

Альтман: Ні. Але AI вже робить наші процеси швидшими. Це — важливий крок.

Томпсон: Тобто, AI допомагає нам швидше створювати нові AI?

Альтман: Не зовсім. Але він робить нашу роботу швидшою і ефективнішою. Це — вже значний прорив.

Томпсон: Це — не поступовий розвиток, а швидкий перехід.

Альтман: Так. І це — не кінець, а початок нової епохи.

Томпсон: Тоді, що далі? Що буде з моделями у майбутньому?

Альтман: Я вважаю, що з часом з’являться нові архітектури, можливо, з елементами нейро-символічних систем. Але поки що — це питання досліджень і відкриттів.

Томпсон: Тобто, можливо, з’являться нові підходи, що поєднують символи і нейронні мережі?

Альтман: Так. Це — одна з ідей, яку досліджують. Але поки що — це ще в процесі.

Томпсон: А що щодо конкуренції між лабораторіями? Чи зможемо ми співпрацювати, щоб швидше досягти безпеки?

Альтман: Вважаю, що так. Ми вже співпрацюємо у сфері безпеки і кібербезпеки. Важливо — об’єднувати зусилля.

Томпсон: А як щодо відкритого коду? Чи відкривати моделі для всіх?

Альтман: Відкриття — важливе, але потрібно балансувати. Найкращі моделі — дуже потужні, і їх запуск вимагає відповідальності. Тому відкривати потрібно з обережністю.

Томпсон: А що з майбутнім відкритого коду? Чи буде він домінувати?

Альтман: Вірю, що відкриття — важливе, але не все. Потрібно відповідально підходити до поширення моделей.

Томпсон: А як щодо майбутнього архітектур? Чи залишимося на трансформерах?

Альтман: Можливо, з’являться нові архітектури, але поки що — трансформери домінують. Це — результат досліджень і практики.

Томпсон: А що з нейро-символічними системами? Чи вони стануть частиною майбутнього?

Альтман: Це — цікава ідея. Можливо, вони допоможуть зробити моделі більш пояснюваними і надійними.

Томпсон: І останнє — що б ви порадили молодим дослідникам і розробникам у цій галузі?

Альтман: Не бійтеся експериментувати, вчіться швидко і будьте відповідальними. Це — найважливіше.

Томпсон: Дякую, Саме. Це була дуже цікава розмова.