最近、ほとんどの組織がAIシステムをほぼ盲目的に運用している理由について、興味深い見解をいくつか読んだ。根本的な問題は何か？それは、私たちが根本的に制御できず、壊れたときに修正できないツールを導入していることだ。

プライバシーやAIに関する深い研究を行ってきたコンピュータサイエンスの専門家、Neel Somaniは、AIリスクに関する多くのノイズを突き抜けるポイントを指摘している。皆がスカイネットのシナリオや黙示録的な話をするだろう？しかし、それは実際に多くの企業が直面している問題ではない。本当の運用上の悪夢はもっとシンプルで混沌としている：デバッグできず、自信を持って修正できず、検証もできないシステムを運用していることだ。

ほとんどの企業でAIが実際にどのように機能しているかを考えてみてほしい。モデルが取引を詐欺とフラグ付けしたり、採用候補者を推薦したり、価格を動的に調整したりする。そして、その後に説明を提供する。合理的に思えるだろう。ただし、ここで重要なのは、その説明は逆算して信憑性を持たせているだけであり、実際にシステムがどのように意思決定に至ったかを示しているわけではない。一つの入力変数を変えるだけで、全体の論理が崩壊する。物語と仕組みが一致しないのだ。

このギャップは、二つの深刻な運用リスクを生む。第一に、隠れた故障だ。内部ロジックが不透明な場合、問題は事前のテストでは捕らえきれない方法で連鎖的に拡大することがある。ある問題の修正が静かに別の問題を引き起こし、通常は予期しなかった特定の条件下で発生する。第二に、介入の脆弱性だ。問題を特定しても、それを修正することは危険を伴う。ある部分を調整すると、他の部分が補償し、新たな故障モードを生み出す。まるで自分のインフラと「じゃんけん」をしているようだ。

Somaniのフレームワークは、「デバッグ性（debuggability）」に焦点を当てている。これは解釈性（interpretability）とは異なる。デバッグ性とは、具体的に三つの能力を指す：故障の原因となった仕組みを特定できるか？それらの仕組みを正確に修正でき、連鎖的なダメージを避けられるか？修正が実際に効果を持ったことを証明できるか？

ローカリゼーションは、モデルのどの層が出力を生成したかだけでなく、その挙動がその仕組みなしで起こり得るか、または仕組みがあってもその挙動を生じさせないことが可能かを特定することだ。介入は、責任ある部分を予測可能かつターゲットを絞って修正し、指定した範囲内の悪い挙動を排除しながら、他の部分を壊さないことを意味する。認証は、境界域においてモデルの挙動について網羅的かつ反証可能な主張を行うことだ。確率的な保証ではなく、実際の普遍的な主張だ。その範囲内で失敗した場合、その認証は誤りだったことになる。

リーダーシップにとって、この考え方の示す意味は非常に明確だ。従来のリスク管理は透明性と監査性に依存している。意思決定を責任者に追跡できることだ。ブラックボックスのAIシステム？その枠組みは崩壊する。規制当局も注目し始めている。EUのAI法、NISTの基準などは、説明責任と監督を推進している。しかし、ここでの落とし穴は、監査に合格しても、実運用でシステムが壊れたときに修正する技術的能力が欠如していることだ。

コンプライアンスのための演技は、実際の運用能力にはならない。デバッグ性は、「私たちは文書化していますか？」から「実際に修正できるか？」への問いに変える。AIシステムが誤動作したとき、あなたの組織は根本原因を特定し、自信を持って修正し、その修正が効果的だったことを検証できるか？これらの能力がなければ、ガバナンスは単なる火消し作業に過ぎない。レビューを義務付け、ドキュメントを要求し、監督を課しても、根本的な故障を防ぐことはできない。

Somaniは、安全 criticalなソフトウェアにおける例えを引き合いに出している。ウェブブラウザが絶対にクラッシュしないことを証明できないのと同じだ。しかし、特定のルーチンがメモリ安全であることや、サンドボックスが特定の攻撃を防ぐこと、重要な不変条件がアップデートに耐えること、パッチが脆弱性を排除しながらリグレッションを引き起こさないことは証明できる。同じ論理はAIにも適用できる。意味のある制御は、グローバルな保証ではなく、構成的でドメインに制約された保証に関わる。特定の入力に対してサブ回路が禁止された機能を起動できないことを保証し、介入によって故障モードを排除しつつ、他の挙動を維持できることを証明する。これが高リスクな展開—金融、医療、サプライチェーン、コンテンツモデレーション—にとって重要だ。

今後の道は、多くの組織が優先してこなかった投資を必要とする。例えば、形式的検証だ。ソフトウェアの性質を数学的に証明することだ。従来は航空機の制御システムや暗号プロトコルに適用されてきたが、これをAIに拡張するのは技術的に難しいが、不可能ではない。最近の疎回路抽出の進展は、大規模モデルにおいても、介入に安定した孤立したサブ回路が存在することを示している。ニューラル検証フレームワークは、モデルを検証に適したコンポーネントに分解し、境界域で網羅的な推論を行うことが可能であることを示している。

リーダーシップにとっての決断は、これらの方法が成熟するのを待つか、今すぐにでも能力を構築するかだ。待つことはリスクを伴う。AIの展開は加速している。組織が展開するものと制御できるもののギャップは広がる一方だ。もう一つの選択肢は、AIと形式的手法の両方を理解するチームに投資し、デバッグ性が必要なときの内部基準を確立し、検証可能なシステムを優先するベンダーと提携することだ。調達の決定を変える必要もある。AIツールを評価するときは、精度、速度、コストに加えて、もう一つ質問を追加しよう：「壊れたときに修正できるか？」