AIには一時停止ボタンがありますが、誰が押す権限を持っていますか？

作者：小白

本文は作者によるオリジナル投稿であり、見解は作者個人の理解に基づくものです。ETHPandaは内容を編集・整理しています。

AIをめぐる議論は、しばしば「2つの陣営」に単純化されます。一方は加速を続けるべきだと言い、他方はできるだけ早く停止すべきだと言うのです。

Vitalikは『AI 2040: Plan A』への応答の中で、この論争の本当の対立は、政策の選択ではなく、人々が未来に対して下している基本判断がまったく違うことだと指摘しています。

ある判断では、AIはなお「一般的な技術」です。雇用、産業、社会構造を変えることはあるものの、最終的には市場、法律、エネルギー、資本、組織能力といった制約を受ける、という考えです。

別の判断では、AIが大規模にAI研究開発に関与し始めれば、能力の成長は急速な循環に入る可能性がある、という見方です。そのとき、人間が直面するのは単に仕事が置き換えられることではなく、研究、経済、軍事、制度における実質的な支配力を、次第に失っていく可能性です。

もし前者の判断が成り立つなら、グローバルなチップ追跡、計算資源（算力）の審査、データセンターの監視のような仕組みを構築するのは、明らかに過剰反応になり得ます。

しかし後者の判断が成り立つなら、デフォルトのまま競争を続け、市場が最後には自動的にすべてを解決すると信じるのも、同じく高リスクの賭けです。

つまり、AIガバナンスが本当に答えるべきなのは、「停止すべきかどうか」だけではなく、次の問いです：

未来がどちらの世界に属するか確定できない状況で、減速する能力をどう維持しつつ、永続的な権力を少数の人々に渡さないのか？

『AI 2040』の核心は「減速」だけではない

『AI 2040』は、比較的理想化された「超知能への移行」ルートを提示しています。

そこでは、主要な国家とAI企業が国際的な協調によって、最先端AIの発展速度を落とし、研究の透明性を高め、より多くの参加者が最先端に近い水準へ追いつけるようにし、安全やガバナンスの問題が処理された後に、さらに推進していくことを想定しています。

私がこの案で最大の問題だと思うのは、目標ではなく実行です。

どこか一方が秘密裏により強いモデルを学習してしまえば、他の参加者は自分たちが置き去りにされることを恐れ、協定はすぐに無効になります。したがって、減速が信頼できるものになるためには、先端チップの追跡、大規模データセンターの監視、そして算力が学習に使われているのかそれ以外の用途に使われているのかを判断する必要があります。

これは、超知能が新たな権力中枢を形成するのを防ぐために、人類は先にグローバルな算力コントロール・センターを構築しなければならないかもしれない、ということを意味します。

これこそが、AI停止案で最も解決が難しい矛盾です：

技術が暴走しないための仕組み自体が、権力が暴走するための道具になり得る。

「AIのリスクは大きい」というだけでは、「どこかの政府、国際組織、ある大規模研究所が無制限の権力を得るべきだ」と自動的に証明することにはなりません。

同様に、「規制は悪用され得る」ということも、逆に「AIのリスクは存在しない」と証明する材料にはなりません。

本当に精査すべきなのは制度設計です：

誰が危険を定義するのか、誰がデータを握るのか、誰が制限の発動権を持つのか、誰が免除を得られるのか、誰が実行者を監督するのか、そして判断ミスが起きたとき、その権力を取り消せるのか。

これらの答えがないなら、「AIの安全」は期限のない技術認可証になりやすいのです。

停止キーと玉座の間には、免除権があるだけ

「AIを停止する」は単純な行為のように聞こえますが、実際にはまったく異なる2種類の制度を意味し得ます。

1つ目は選択的停止です。

権力を握った者は、誰がモデルを学習する資格を持つか、誰が停止しなければならないかを決められます。誰が信頼できる機関に属するか、誰が危険な参加者と見なされるかも決められるのです。他者は制限される一方で、権力者自身はモデル、チップ、算力を保持できます。

この仕組みは、競争を本当に終わらせるものではなく、勝者を先取りで決めてしまうだけです。

それは停止キーではなく、玉座のようなものです。

2つ目は対称性のある停止です。

公開されたリスク条件が引き金として作動したとき、すべての主要参加者が制限を受けます。停止を実行する側も含まれます。秘密の免除はなく、競争相手に停止を求めながら、自分の研究室だけは引き続き推進することもできません。

この仕組みこそが、真にブレーカー（遮断器）に近いものです。

VitalikはPlan Aが「相互に確保された算力の破壊（相互確実な算力毀損）」を導入している点を明確に肯定しています。少数の参加者に、他者を選択的に制限する権限を与え、その一方で自分は免除されるようにするよりも、少なくともこの仕組みのほうがより対称です。

しかし、対称性だけでは問題は自動的に解決されません。

全世界の先端算力を大規模に停止させ得るシステム自体が、すでに非常に強力な権力ツールです。それは誤った情報によって発動されるかもしれませんし、政治的対立に利用されるかもしれませんし、内部者によって操られる可能性もあります。さらに技術的故障によって、甚大な損失が生じる恐れもあります。

したがって、信頼できる停止メカニズムには、少なくとも次の条件が必要です：

発動条件は公開されていなければならない。証拠は単一の機関によって独占されてはならない。制限は可能な限り対称であるべきで、停止には明確な期限が必要で、再開のルールも事前に書き切っておかなければならない。

とりわけ、「緊急状態に入る方法」だけを設計して、「緊急状態からどう退出するか」を設計しない、ということはしてはいけません。

現実には、機関が権力を得ると、危険がなお存在することを主張して正当化しやすくなる一方で、主に自ら進んで権力を返すことはしがちです。

だからこそ、AIの停止メカニズム自体にも、停止キーが必要なのです。

真の権力集中は、会社や政府だけから来るわけではない

今日、AIの権力について議論するとき、人々は通常2つのことを心配します。

1つは、少数の大企業が最強モデルを独占すること。

2つ目は、政府が安全という名目でチップやデータ、開発者を支配することです。

しかしVitalikは、より深い第3のリスクを思い出させています：

超知能そのものが、最大の権力集中装置になり得る。

人間が今日、交渉力を持てているのは、人間がいくつかの希少資源を握っているからです。労働、知識、組織能力、資本、政治的権力、武力。異なる集団同士が相互に協議しなければならないのは、どれか一方が他者を完全に迂回できないからです。

もしAIが、研究、プログラミング、管理、金融、伝播、ネットワーク攻撃、さらには軍事計画まで、人間より速く・安く・より効果的にできるようになれば、これら本来人間に属していた希少な能力は急速に価値を失います。

そのとき、市場にAI企業が10社競争していても、人間がなお最終的な決定権を握っていることを意味しません。

市場競争は、ある企業の利益を抑えることはできても、一般の人々が引き続き交渉力を持てることを必ずしも保証できないのです。

だから、「信頼できる人が最強AIを制御すること」は完全な答えではありません。

それは、「AIが人間を制御するのかどうか」という問題を、「どのごく一部の人々が、最強AIを制御する権力を最初に得るべきか」に言い換えただけです。

d/accは土台だが、万能解ではない

Vitalikが長年推し進めてきたd/accは、防御的で、分散化された技術を優先的に発展させるものだと理解できます。

たとえば、より安全なソフトウェア、形式化検証、暗号技術、オープンハードウェア、ネットワーク防御、生物安全、情報検証ツールなどです。

これらの方向性の価値は、ある特定の「正確な超知能のタイムテーブル」に依存しないことにあります。

もしAIが最終的にただの一般的な技術にとどまるなら、より安全なソフトウェア、より信頼性の高いハードウェア、より強い公共の防御能力は、それでもなお構築する価値があります。

もしAIが急速に強くなれば、これらの技術は社会がネットワーク攻撃、生物リスク、ハードウェアのバックドア、情報操作に対して備える能力を高めることにもつながります。

これは「後悔の少ない戦略」です。未来がどの世界になるか確定できないなら、とにかく、どちらの世界でも持っていて損のない安全な基盤インフラを先に整えるのです。

しかしd/accは万能薬ではありません。

もしAIの能力が本当に短期間で飛躍するなら、防御技術の展開が間に合わない可能性があります。より安全なシステムはリスクを下げられますが、すべての競争が継続されるべきだと証明するものにはなりません。

そのためd/accは、より適切には長期の土台として位置づけるべきであり、停止メカニズムは極端な状況の保険です。

土台は継続的に構築する必要があります。保険は軽々しく起動すべきではありませんが、システムがすでに暴走してから設計を始めるわけにもいきません。

予測された日付より重要なのは、先に発動条件を約束すること

Vitalikの長文の中で最も現実味のある助言は、「すぐにAIを停止せよ」ということではなく、先に約束しておくことです：

どんな証拠が出たら、各陣営が判断を変えなければならないのか。

今日、「超知能は2030年に出現する」あるいは「今後20年は絶対に出現しない」と、全員が同意することはほとんど不可能です。

しかし、異なる陣営でも、いくつかのリスク・シグナルに関しては事前に合意できます。

たとえば：

AIは、独立して数週間にわたる継続的な研究開発タスクをすでに完了できるのか；

次世代AIの開発を明確に加速できるのか；

大規模にネットワークの脆弱性を発見し、それを活用する能力があるのか；

自律的に自己複製し、資源を獲得したり、監督を回避したりし始めているのか；

武器、金融システム、重要インフラに接続されているのか；

持続的で大規模な社会的損害をすでに引き起こしているのか。

重要なのは、完璧な指標を見つけることではなく、議論を「超知能を信じるかどうか」から、「どんな現実の証拠があれば判断を更新するのか」に変えることです。

AIリスクは誇張されていると考える人は、それらが起こらないと信じているので受け入れられます。

超知能を心配する人も、それらの兆候がすぐ現れる可能性があると考えているので受け入れられます。

双方は先に世界観を統一する必要はありません。ただ事前に約束すればいいのです：

現実の変化の後は、政策も必ず変えなければならない。

介入は「継続」と「停止」の2段階だけであるべきではない

本当に実行可能なAIガバナンスは、「完全自由な発展」と「世界規模の全面停止」の間を単に跳ぶようなものでもあるべきではありません。

より合理的なのは、段階的な介入を構築することです。

リスクが低いときは、能力の開示、事故報告、第三者によるテストを増やします。

リスクがさらに上がってきたら、重要インフラへのモデル接続を制限し、自律的な実行、資金の移動、武器管理などの高リスク権限を制限します。

AIがすでに明らかにAI研究開発を自動化している、あるいは複数の深刻なシグナルが同時に出ているなら、新たな最先端学習や大規模算力の拡張を制限します。

低強度の対策ではリスクを抑えられないときに限って、より広い範囲で、期間もより短い停止へと移行します。

このような段階設計は、規制を弱めるためではなく、政策の強度と証拠の強度を一致させるためです。

本当に危険な制度とは、多くの場合、強硬な措置を取る能力がないのではなく、中間のすべてのステップを飛ばして、「緊急状態」という理由だけで無限の権力を得てしまえることです。

結語

AIガバナンスが本当に難しいのは、立場がないことではなく、判断ミスを受け入れられる制度がないことです。

競争を続けることは中立な選択ではありません。

世界規模の停止も中立な選択ではありません。

オープンモデルはそれ自体が天然に安全ではありませんし、クローズドモデルもそれ自体が天然に責任あるわけではありません。

信頼できるガバナンスの仕組みには、少なくとも次の4つの問いへの答えが必要です：

それは何の根拠（証拠）に基づいて行動するのか？

それは、権力を握る側にも同じように制約を課すのか？

外部によって検証できるのか？

判断ミスが起きたあと、権力を取り消せるのか？

AIの時代には、たしかに「停止キー」が必要なのかもしれません。

しかし停止キーの本当の難しさは、作れるかどうかではありません。

問題は次の一点に尽きます：

誰がそれを押す権利を持ち、誰が再起動する権利を持ち、そして誰もがこのボタンを自分の玉座に変えられないことをどう確実にするのか。