ИИ нужна кнопка паузы, но кто имеет право её нажать?

Автор: 小白

Эта статья — оригинальная публикация автора; взгляды отражают только личное понимание автора. ETHPanda выполнил редактуру и структурирование материала.

Споры об ИИ часто сводят к двум лагерям: одна сторона выступает за дальнейшее ускорение, другая — за как можно скорее приостановить.

Отвечая на «AI 2040: Plan A», Виталик отметил, что реальное расхождение в этой дискуссии — не в выборе политики. Расхождение — в том, что люди по-разному оценивают будущее.

Одна оценка исходит из того, что ИИ по-прежнему является «обычной технологией». Он изменит занятость, отрасли и общественную структуру, но в итоге все равно будет ограничен рынком, законами, энергетикой, капиталом и организационными возможностями.

Другая оценка говорит: как только ИИ начнет в массовом масштабе участвовать в разработке ИИ, рост возможностей может перейти в быстрый замкнутый цикл. Тогда человеку будет угрожать не просто замена работы, а постепенная утрата реального контроля — в научной, экономической, военной и институциональной плоскости.

Если верна первая оценка, то создание глобальной системы отслеживания чипов, системы согласования вычислительных мощностей и мониторинга дата-центров, очевидно, может оказаться чрезмерной реакцией.

Но если верна вторая оценка, то и простое сохранение режима «по умолчанию — гонка», с верой в то, что рынок в конечном итоге автоматически решит все, тоже является игрой с высоким риском.

Поэтому истинный вопрос AI-управления — не только «нужно ли приостанавливать», а:

Когда невозможно определить, к какому из миров принадлежит будущее, как сохранить способность замедляться, не передавая навсегда власть в руки немногих?

Ядро «AI 2040» — не только «замедление»

«AI 2040» предлагает относительно идеализированный маршрут перехода к суперразуму.

Там предполагается, что ключевые страны и компании ИИ посредством международной координации замедляют развитие передового ИИ, повышают прозрачность исследований, чтобы больше участников могли догонять и выходить на уровень, близкий к передовому, а затем после проработки вопросов безопасности и управления продолжают движение.

Я считаю, что главная проблема этой схемы не в цели, а в исполнении.

Пока существует хотя бы одна сторона, которая тайно обучает более сильные модели, остальные участники будут опасаться, что их обойдут, а договоренность быстро потеряет силу. Поэтому, чтобы замедление было заслуживающим доверия, необходимо отслеживать чипы высокого уровня, мониторить крупные дата-центры и выяснять, для обучения ли используется вычислительная мощность или для других целей.

Это означает, что чтобы не дать суперразуму сформировать новый центр власти, людям может потребоваться сначала создать глобальный центр контроля вычислительных мощностей.

Это и есть самое трудное противоречие в плане «приостановки ИИ»:

Механизм, предотвращающий выход технологии из-под контроля, сам по себе может стать инструментом выхода власти из-под контроля.

Фраза «риск ИИ очень велик» не доказывает автоматически, что конкретному правительству, международной организации или крупной лаборатории следует предоставить неограниченную власть.

Точно так же «регулирование может быть злоупотреблено» не доказывает в обратную сторону, что риск ИИ отсутствует.

По-настоящему нужно проверять институциональную структуру:

кто определяет, что опасно,
кто владеет данными,
кто имеет право запускать ограничения,
кто может получать освобождение,
кто будет надзирать за исполнителями,
и сможет ли эта власть быть отозвана при ошибочном суждении.

Если на эти вопросы нет ответов, «безопасность ИИ» легко превратится в бесконечный документ о технической лицензии без срока действия.

Пауза и трон — между ними лишь право на освобождение

«Приостановить ИИ» звучит как простое действие, но на практике это может означать две совершенно разные институциональные модели.

Первая — выборочная пауза.

Те, кто у власти, могут решать, кто имеет право обучать модели, а кто обязан остановиться; кто относится к доверенным институтам, а кто считается опасным участником. Остальные оказываются ограничены, тогда как власть предержащие при этом сохраняют у себя модели, чипы и вычислительные мощности.

Эта механика не заканчивает гонку по-настоящему — она лишь заранее назначает победителей.

Это не «кнопка паузы», а скорее «трон».

Вторая — симметричная пауза.

Когда срабатывают публично заявленные условия риска, все ключевые участники ограничиваются, включая сторону, отвечающую за исполнение паузы. Никаких скрытых освобождений, и нельзя одновременно требовать остановки конкурентов и при этом продолжать разворачивать эксперименты в своей лаборатории.

Эта механика ближе к настоящему «аварийному рубильнику».

Виталик однозначно поддержал то, что Plan A вводит принцип «взаимно обеспеченного уничтожения вычислительных мощностей». По сравнению с тем, чтобы небольшая группа участников имела право выборочно ограничивать других и одновременно освобождать себя, эта схема хотя бы более симметрична.

Но и симметрия не решает проблему автоматически.

Система, которая способна массово остановить глобально передовые вычислительные мощности, сама по себе является инструментом колоссальной власти. Ее можно привести в действие ложной информацией, использовать в политическом противостоянии, манипулировать изнутри или вызвать огромные потери из‑за технических сбоев.

Поэтому доверительный механизм паузы как минимум должен соответствовать ряду условий:

условия срабатывания должны быть публичными, доказательства не должны монополизироваться одной организацией, ограничения должны быть максимально симметричными, пауза должна иметь четкий срок, а правила повторного запуска — заранее прописаны.

Особенно нельзя ограничиться проектированием того, «как войти в режим чрезвычайной ситуации», но не спроектировать того, «как выйти из режима чрезвычайной ситуации».

В реальности, когда организация получает власть, ей часто легче доказать, что опасность все еще существует, чем добровольно вернуть полномочия.

Поэтому механике паузы ИИ нужен собственный «пауза-контроль» — то есть отдельная «кнопка паузы».

Истинная концентрация власти идет не только от компаний и правительства

Когда сегодня обсуждают власть в сфере ИИ, обычно опасаются двух вещей.

Во-первых, что несколько крупных компаний монополизируют самые сильные модели.

Во-вторых, что правительства под именем безопасности будут контролировать чипы, данные и разработчиков.

Но Виталик напоминает о третьем, более глубоком риске:

суперразум сам по себе может стать крупнейшим концентратором власти.

Сегодня люди обладают способностью торговаться, потому что у людей есть определенные дефицитные ресурсы: труд, знания, организаторские способности, капитал, политическая власть и сила. Разным группам приходится договариваться между собой, потому что ни у одной из сторон нет возможности полностью обойти остальных.

Если ИИ в исследованиях, программировании, управлении, финансах, распространении контента, кибератаках и даже в военном планировании будет быстрее, дешевле и эффективнее людей, то эти изначально принадлежащие людям дефицитные способности быстро обесценятся.

Тогда даже если на рынке будут конкурировать 10 компаний ИИ, это не означает, что у людей останется окончательное право решать.

Конкуренция на рынке может ограничить прибыль компании, но не обязательно гарантирует, что обычные люди продолжат обладать способностью торговаться.

Поэтому «передать самый сильный ИИ в руки тех, кому доверяют» — не полный ответ.

Это лишь переносит вопрос: не «будет ли ИИ контролировать людей», а «какой небольшой группе людей раньше всего дадут право контролировать самый сильный ИИ».

d/acc — основа, но не универсальный ответ

d/acc, который Виталик продвигает в течение долгого времени, можно понимать как приоритет развития защитных, децентрализованных технологий.

Например: более безопасное ПО, формальная верификация, криптография, открытое оборудование, сетевая защита, биобезопасность и инструменты верификации информации.

Ценность этих направлений в том, что они не зависят от точного «таймлайна» суперразума.

Если в итоге ИИ окажется всего лишь обычной технологией, более безопасное ПО, более надежное оборудование и более сильные общественные возможности защиты все равно стоит развивать.

Если ИИ начнет быстро усиливаться, эти технологии тоже смогут повысить устойчивость общества к сетевым атакам, биологическим рискам, аппаратным бэкдорам и манипулированию информацией.

Это стратегия с низким уровнем сожалений: когда невозможно определить, к какому типу мира принадлежит будущее, сначала строится инфраструктура безопасности, которая в любом случае будет стоить того.

Но d/acc не является универсальной «таблеткой».

Если способности ИИ действительно совершат скачок за очень короткое время, защитные технологии могут не успеть внедриться. Более безопасные системы снижают риски, но не доказывают, что все конкурсы должны продолжаться.

Поэтому d/acc лучше подходит как долгосрочная основа, а механизмы паузы — как страховка в экстремальных ситуациях.

Основа требует непрерывного строительства; страховку не следует легко запускать, но и нельзя ждать, пока система уже выйдет из-под контроля, прежде чем начинать проектировать механизмы.

Важнее заранее согласовать триггер, чем предсказывать дату

Самое практичное в этом длинном материале Виталика — не «сразу приостановить ИИ», а заранее договориться:

после появления каких доказательств все стороны обязаны изменить оценку.

Сегодня добиться того, чтобы все согласились с утверждением «суперразум появится в 2030 году» или «в ближайшие 20 лет этого не будет», почти невозможно.

Но разные лагеря все равно могут заранее договориться о некоторых сигналах риска.

Например:

может ли ИИ уже самостоятельно выполнять исследовательские задачи в течение нескольких недель;

способен ли он заметно ускорять разработку следующего поколения ИИ;

обладает ли он возможностью в массовом масштабе находить и использовать уязвимости в сети;

начал ли он автономно копировать себя, получать ресурсы или обходить надзор;

подключен ли он к оружию, финансовым системам и критически важной инфраструктуре;

уже ли он причинил длительный масштабный ущерб обществу.

Главное — не найти идеальный показатель, а перевести спор из плоскости «веришь ли ты в суперразум» в плоскость «какие реальные доказательства заставят тебя обновить оценку».

Считающие, что риск ИИ преувеличен, могут принять это, потому что они верят, что эти сценарии не произойдут.

Боящиеся суперразума тоже могут принять это, потому что они полагают, что такие сигналы могут появиться довольно быстро.

Обеим сторонам не нужно сначала объединять мировоззрение; достаточно заранее пообещать:

после реальных изменений в мире политика тоже должна измениться.

У вмешательства не должно быть только двух режимов: продолжать или остановить

Настоящее осуществимое AI-управление также не должно прыгать напрямую между «полностью свободным развитием» и «глобальной остановкой».

Более разумный подход — построить многоуровневое вмешательство.

Когда риск низкий, увеличиваются раскрытие возможностей, сообщения об инцидентах и тестирование третьими сторонами.

Когда риск продолжает расти, ограничивается доступ моделей к ключевой инфраструктуре, а также ограничиваются права высокого риска вроде автономного выполнения, распоряжения финансами и контроля над оружием.

Если ИИ уже очевидно автоматизировал разработку ИИ или если одновременно появляются несколько серьезных сигналов, ограничивается новый фронтирный тренинг и расширение крупных вычислительных мощностей.

Только если более мягкие меры не справляются с контролем рисков, переходят к более широким по охвату и более коротким по времени паузам.

Такая многоуровневая конструкция нужна не чтобы ослабить регулирование, а чтобы согласовать силу политики с силой доказательств.

Опасные институции обычно не лишены возможности принимать жесткие меры. Скорее они опасны тем, что могут пропустить все промежуточные шаги и сразу получить неограниченную власть, сославшись на «чрезвычайное положение».

Заключение

Главная сложность AI-управления — не отсутствие позиций, а отсутствие институциональной схемы, которая способна вместить ошибочность суждений.

Продолжение гонки — не нейтральный выбор.

Глобальная пауза — тоже не нейтральный выбор.

Открытые модели не гарантированно безопасны, закрытые модели не гарантированно ответственны.

Набор заслуживающих доверия механизмов управления должен как минимум ответить на четыре вопроса:

на основании каких доказательств он действует?

одинаково ли он ограничивает власть предержащих?

может ли его внешняя сторона проверять?

после ошибочного суждения можно ли отозвать полномочия?

В эпоху ИИ, возможно, действительно понадобится кнопка паузы.

Но настоящая сложность кнопки паузы никогда не заключалась в том, можно ли ее создать.

Сложность в другом:

у кого есть право нажать ее, у кого есть право перезапустить и как гарантировать, что никто не превратит эту кнопку в свой собственный трон.