AI потребує кнопки паузи, але хто має право натиснути?

Автор: Малюк

Ця стаття є оригінальною публікацією автора надісланою редакції; погляди відображають лише особисте розуміння автора, а ETHPanda виконує редагування та впорядкування змісту.

Дискусії навколо ШІ часто зводять до двох таборів: один виступає за подальше прискорення, інший — за якнайшвидшу зупинку.

Відповідаючи на «AI 2040: Plan A», Віталік зазначив, що справжня розбіжність у цій суперечці полягає не в політичному виборі, а в тому, що люди мають цілком різні базові уявлення про майбутнє.

Одна оцінка вважає, що ШІ все ще є «звичайною технологією». Він змінить зайнятість, індустрії та суспільну структуру, але в кінцевому підсумку все одно буде обмежений ринком, законами, енергією, капіталом та організаційними можливостями.

Інша оцінка вважає, що щойно ШІ почне масово брати участь у розробці ШІ, зростання можливостей може перейти в швидкий цикл. Тоді людству доведеться мати справу не лише із тим, що роботу замінять, а й з тим, що воно може поступово втратити реальний контроль у науці, економіці, військовій сфері та в інституціях.

Якщо перша оцінка правильна, то створення глобальної системи відстеження чипів, обміну дозволами на обчислювальні потужності та моніторингу дата-центрів, очевидно, може бути серйозною надмірною реакцією.

Але якщо друга оцінка правильна, то продовжувати зберігати режим «за замовчуванням — змагання», вірячи, що ринок у підсумку автоматично вирішить усе, — це так само високоризиковане ворожіння.

Отже, те, на що справді має відповісти управління ШІ, — це не лише «чи зупиняти», а:

За неможливості визначити, до якого саме світу належатиме майбутнє, як зберегти спроможність уповільнення — і при цьому не віддати перманентну владу кільком людям?

Суть «AI 2040» — не тільки «уповільнення»

«AI 2040» пропонує відносно ідеалізований маршрут переходу до суперінтелекту.

Він уявляє, що основні держави та компанії ШІ через міжнародну координацію сповільнять розвиток передових систем ШІ, підвищать прозорість досліджень, щоб більше учасників могли наздогнати й наблизитися до рівня на передньому краї — а потім, після того як будуть опрацьовані питання безпеки та управління, продовжать рух уперед.

На мою думку, найбільша проблема цієї схеми не в меті, а в виконанні.

Поки існує хоча б одна сторона, яка таємно навчає потужніші моделі, інші учасники переживатимуть, що їх обженуть, і домовленості дуже швидко втратять чинність. Тому, щоб уповільнення було довіреним, потрібно відстежувати висококласні чипи, моніторити великі дата-центри та визначати, чи обчислювальні потужності використовують для навчання, чи для інших цілей.

Це означає, що щоб не допустити формування нових владних центрів із суперінтелекту, людям, можливо, доведеться спершу створити глобальний центр контролю обчислювальної потужності.

Саме це — найбільш складна суперечність у схемі «зупинки ШІ»:

Механізм, який має запобігати втраті контролю над технологією, сам може стати інструментом втрати контролю над владою.

«Ризики ШІ великі» не може автоматично довести, що певному уряду, міжнародній організації чи великій лабораторії слід надати необмежену владу.

Так само «регулювання можуть зловживати» не може, у зворотний бік, довести, що ризиків ШІ немає.

Справді потрібно перевіряти інституційну структуру:

хто визначає небезпеку;

хто володіє даними;

хто має право ініціювати обмеження;

хто може отримати виняток;

хто здійснює нагляд за виконавцями;

і, зрештою, чи можна відкликати цю владу в разі помилки в оцінці.

Якщо відповіді на ці питання немає, «безпека ШІ» дуже легко перетворюється на технічний дозвіл на необмежений строк.

Кнопка паузи і трон: бракує лише права на виняток

«Зупинити ШІ» звучить як проста дія, але насправді це може означати дві повністю різні інституційні моделі.

Перша — вибіркова пауза.

Ті, хто при владі, можуть вирішувати, хто має право тренувати моделі, а хто мусить зупинитися; хто належить до «довірених» інституцій, а кого вважають небезпечним учасником. Інші будуть обмежені, тоді як самі ті, хто при владі, можуть зберегти моделі, чипи та обчислювальну потужність.

Ця механіка не завершує змагання по суті — лише заздалегідь визначає переможця.

Це не кнопка паузи; радше це трон.

Друга — симетрична пауза.

Коли спрацьовують публічні умови ризику, всі ключові учасники отримують обмеження, включно з тією стороною, яка відповідає за виконання паузи. Немає таємних винятків, і неможливо одночасно вимагати від конкурентів зупинитися й дозволяти своїй лабораторії продовжувати роботу.

Саме така механіка більше схожа на справжній аварійний вимикач.

Віталік чітко схвалив те, що Plan A вводить «взаємно забезпечене знищення обчислювальних потужностей». Порівняно з тим, щоб дати невеликій групі право вибірково обмежувати інших і водночас звільняти себе, така механіка принаймні більш симетрична.

Втім, симетрія не усуває проблему автоматично.

Система, яка здатна масово «поставити на паузу» глобальні передові обчислювальні потужності, сама по собі є надзвичайно потужним інструментом влади. Вона може спрацьовувати через хибну інформацію, бути використана в політичному протистоянні, керуватися інсайдерами або спричиняти величезні втрати через технічні збої.

Тому довірений механізм паузи, щонайменше, має відповідати кільком умовам:

умови спрацювання мають бути публічними, а докази не можуть монополізуватися однією інституцією;

обмеження мають бути максимально симетричними;

пауза має мати чітко визначений строк;

правила повторного запуску також потрібно заздалегідь прописати.

Особливо не можна просто проектувати «як увійти в режим надзвичайного стану», але не проектувати «як вийти з режиму надзвичайного стану».

На практиці, після того як інституції отримують владу, їм часто легше довести, що небезпека все ще існує, а не добровільно віддати владу назад.

Тому механізм паузи для ШІ теж потребує власної «кнопки паузи».

Справжня концентрація влади походить не лише від компаній і урядів

Коли сьогодні обговорюють владу ШІ, людей зазвичай турбують дві речі.

Перше — що кілька великих компаній монополізують найпотужніші моделі.

Друге — що уряди під приводом безпеки контролюватимуть чипи, дані та розробників.

Але Віталік нагадує про третій, глибший тип ризику:

сам суперінтелект також може стати найбільшим концентратором влади.

Сьогодні люди мають можливість торгуватися, тому що люди володіють певними дефіцитними ресурсами: працею, знаннями, організаційними здібностями, капіталом, політичною владою та силою. Між різними групами завжди потрібні переговори, бо жодна сторона не може повністю обійти інших.

Якщо ШІ в дослідженнях, програмуванні, менеджменті, фінансах, поширенні інформації, мережевих атаках і навіть у військовому плануванні працюватиме швидше, дешевше та ефективніше за людей, ці дефіцитні людські можливості швидко знеціняться.

Тоді навіть якщо на ринку змагатимуться десять компаній ШІ, це не означає, що люди й надалі матимуть право остаточного рішення.

Конкуренція на ринку може обмежити прибутки однієї компанії, але не обов’язково гарантує, що звичайні люди й надалі зберігатимуть здатність торгуватися.

Отже, «довірити найсильніший ШІ найбільш довіреним людям» — це не повна відповідь.

Це лише переформатовує проблему з «чи контролюватиме ШІ людей» на «яка мала група людей має отримати першою владу над найпотужнішим ШІ».

d/acc — це база, але не універсальна відповідь

d/acc, який Віталік давно просуває, можна розуміти як пріоритет розвитку захисних і децентралізованих технологій.

Наприклад: безпечніше програмне забезпечення, формальна верифікація, криптографія, відкриті апаратні платформи, мережевий захист, біобезпека та інструменти верифікації інформації.

Цінність цих напрямів у тому, що вона не залежить від того, чи є точний часовий план появи суперінтелекту.

Якщо врешті ШІ залишиться звичайною технологією, то безпечніше ПЗ, надійніша апаратура та сильніші публічні можливості захисту все одно варто будувати.

Якщо ШІ швидко посилиться, ці технології теж можуть підвищити здатність суспільства протистояти мережевим атакам, біологічним ризикам, апаратним «бекдорам» та маніпуляціям інформацією.

Це стратегія з низьким рівнем жалю: коли не можна визначити, до якого саме світу належатиме майбутнє, спочатку створюють інфраструктуру безпеки, яка за будь-якого сценарію буде варта того.

Але d/acc — не універсальний засіб.

Якщо можливості ШІ справді стрибнуть за дуже короткий час, захисні технології можуть не встигнути бути розгорнутими. Більш безпечні системи можуть знизити ризики, але не можуть довести, що всі змагання мають продовжуватися.

Тому d/acc більш доречний як довгострокова база, а механізм паузи — як страховка в крайньому випадку.

Базу потрібно безперервно будувати, страховку не слід запускати без вагомої причини, але також не можна чекати, доки система вже вийде з-під контролю, щоб почати проектувати.

Важливіше за прогнозовані дати — наперед домовитися про умови спрацювання

Найбільш практична рекомендація в цьому довгому тексті Віталіка — не просто зупинити ШІ негайно, а заздалегідь погодити:

після появи яких доказів усім сторонам потрібно змінити своє рішення.

Сьогодні вимагати, щоб усі погодилися, що «суперінтелект з’явиться в 2030 році» або що «в найближчі двадцять років цього не буде», — майже неможливо.

Але різні табори все ж можуть заздалегідь домовитися про певні сигнали ризику.

Наприклад:

чи ШІ вже може самостійно виконувати дослідницькі завдання тривалістю в кілька тижнів;

чи здатен він суттєво прискорити розробку наступного покоління ШІ;

чи має він можливість масово виявляти та використовувати вразливості в мережах;

чи почав він самостійно копіюватися, здобувати ресурси або обходити нагляд;

чи під’єднався він до зброї, фінансових систем і критично важливої інфраструктури;

чи вже спричинив він тривалу масштабну шкоду суспільству.

Суть не в тому, щоб знайти ідеальний індикатор, а в тому, щоб перевести дискусію з «чи ти віриш у суперінтелект» у «які реальні докази змусили б тебе оновити оцінку».

Люди, які вважають ризики ШІ перебільшеними, можуть погодитися, бо вони вірять, що ці сценарії не стануться.

Ті, хто турбується про суперінтелект, також можуть погодитися, бо вони вважають, що ці сигнали можуть з’явитися дуже швидко.

Обом сторонам не потрібно одразу узгодити спільне бачення світу — достатньо завчасно взяти зобов’язання:

після реальних змін політика також має змінитися.

Втручання не повинно зводитися лише до двох режимів: «продовжувати» і «зупинити»

Справді здійсненне управління ШІ також не має прямо перемикатися між «повною свободою розвитку» і «глобальною зупинкою».

Більш розумний підхід — запровадити градацію втручання.

За нижчих рівнів ризику: збільшувати розкриття можливостей, звітування про інциденти та незалежне тестування третьою стороною.

Коли ризик продовжує зростати: обмежувати доступ моделей до критично важливої інфраструктури, обмежувати високоризикові права на автономне виконання, переказ коштів, контроль зброї тощо.

Якщо ШІ вже явно автоматизував розробку ШІ або якщо одночасно з’являються кілька тяжких сигналів, тоді обмежувати нові передові тренування та розширення великих обчислювальних потужностей.

Лише коли слабші заходи не здатні контролювати ризик, переходити до ширшої за охопленням і коротшої за часом паузи.

Ця ієрархічна конструкція потрібна не для ослаблення регулювання, а для того, щоб сила політики відповідала силі доказів.

По-справжньому небезпечні інститути — це зазвичай не ті, які не здатні застосувати жорсткі заходи, а ті, що можуть пропустити всі проміжні кроки й отримати необмежену владу під приводом «надзвичайного стану».

Висновок

Найскладніше в управлінні ШІ — це не брак позицій, а брак інституційної системи, здатної вмістити помилки в судженнях.

Продовжувати змагання — це не нейтральний вибір.

Глобальна пауза — це також не нейтральний вибір.

Відкриті моделі не є природно безпечними, а закриті моделі — природно відповідальними.

Довірений механізм управління щонайменше має відповісти на чотири питання:

На яких доказах він діятиме?

Чи він однаково обмежує тих, хто при владі?

Чи може його перевірити зовнішня сторона?

Після помилки в оцінці — чи можна відкликати владу?

У епоху ШІ, можливо, справді потрібна кнопка паузи.

Але головна складність кнопки паузи ніколи не була в тому, чи можна її створити.

Питання радше таке:

Хто має право натиснути її, хто має право перезапустити, і як забезпечити, щоб жодна людина не перетворила цю кнопку на власний трон.