最初のAIエージェントたちが、すでに言うことを聞かなくなり始めている

著者：David、深潮 TechFlow

最近Redditを見ていて、海外のネットユーザーのAIに対する不安は国内のそれとは少し違うと感じました。

国内では基本的に「AIは私の仕事を奪うのか」という話題が続いています。何年も議論していますが、毎年結局奪えず、今年はOpenclawが話題になったものの、完全に取って代わるところまではいっていません。

一方、Redditでは最近、感情の分裂が見られます。技術系のホットな投稿のコメント欄には、次のような二つの声が同時に見られます。

一つは、「AIはあまりにも有能すぎて、いずれ大きな問題になるだろう」という意見。もう一つは、「AIは基本的なことさえもできず、役に立つとは思えない」という意見。

AIがあまりにも有能である一方、また馬鹿な部分もある。

この二つの感情が同時に成立している背景には、最近のMetaに関するニュースがあります。

AIが言うことを聞かないとき、責任は誰が取るのか？

3月18日、Metaの内部エンジニアが社内フォーラムに技術的な問題を投稿し、別の同僚がAIエージェントを使って分析を依頼しました。これは普通の操作です。

しかし、そのエージェントが分析を終えた後、勝手に技術フォーラムに返信を投稿しました。誰の承認も得ず、確認もせずに権限を越えた投稿です。

その後、他の社員がAIの返信に従って操作を行い、権限の変更が連鎖し、Metaの敏感なデータが権限のない内部社員に漏洩しました。

問題は2時間後に修正されました。Metaはこの事故をSev 1（最も深刻なレベルの事故）に分類しています。

このニュースはすぐにr/technologyのホットトピックになり、コメント欄は二つの派に分かれました。

一派は、「これこそAIエージェントの真のリスクの一例だ」と言い、もう一派は、「実際に問題を起こしたのは、確認せずに行動した人間だ」と主張します。どちらも一理ありますが、これこそが問題です。

AIエージェントの事故では、責任の所在すら曖昧になる。

これもAIの越権行為の一例です。

先月、Metaのスーパーインテリジェンス研究所の責任者Summer Yueは、OpenClawにメールの整理を依頼しました。彼女は明確に指示しました：「何を削除するつもりか教えて、それに同意したら作業を始めていい。」

しかし、エージェントは彼女の同意を待たずに一括削除を開始しました。

彼女はスマホから3回停止のメッセージを送ったものの、エージェントは無視。最後にPCの前で手動でプロセスを停止し、200通以上のメールが消えました。

その後、エージェントの返信は「はい、確認するように言ったのは覚えていますが、ルールに違反しました」とのこと。笑い話のようですが、この人のフルタイムの仕事はAIに人間の言うことを聞かせる方法を研究することです。

サイバー空間では、先進的なAIは先進的な人間に使われ始め、すでに言うことを聞かなくなりつつあります。

もしロボットも言うことを聞かなくなったら？

Metaの事故は画面の中の話ですが、今週、もう一つの事件が食卓に問題を持ち込みました。

アメリカ・カリフォルニア州クパチーノのある海底撈（ハイディラオ）店では、Agibot X2の人型ロボットが客の前でダンスを披露していました。しかし、スタッフがリモコンを誤操作し、狭いテーブル付近で高強度のダンスモードを発動させてしまいました。

ロボットは狂ったように踊り始め、サービスのコントロールを超えてしまいました。3人のスタッフが駆け寄り、一人は背後から抱きしめ、もう一人はスマホのアプリで停止を試みましたが、1分以上も続きました。

海底撈は、「ロボットに故障はなく、動作はすべて事前にプログラムされたもので、ただテーブルから離れすぎただけ」と回答しました。厳密には、AIの自律的な判断ミスではなく、人間の操作ミスです。

しかし、この出来事で不快に感じるのは、誰がボタンを誤操作したかという問題だけではないかもしれません。

3人のスタッフが駆け寄ったとき、誰もすぐにこの機械を止める方法を知りませんでした。スマホアプリを試す者、手でアームを押さえる者、全て力任せです。

これは、AIが画面から物理世界に進出した後の新たな問題かもしれません。

デジタルの世界では、エージェントの越権操作はプロセスの停止や権限の変更、データの巻き戻しで対処できますが、物理的な機械のトラブルには、抱きしめる以外の緊急対応策が必要です。

今や飲食だけでなく、倉庫のAmazonの仕分けロボット、工場の協働ロボット、ショッピングモールの案内ロボット、老人ホームの介護ロボットなど、自動化はますます多くの人と機械が共存する空間に入りつつあります。

2026年には、世界の産業用ロボットの導入台数は167億ドルに達すると予測されており、各ロボットは人と機械の物理的距離を縮めています。

ロボットの仕事がダンスから料理、手術、介護へと変わるたびに、失敗のコストも高まっています。

そして現在、世界的に「公共の場でロボットが人を傷つけた場合、誰が責任を取るのか」という問題について、明確な答えはまだありません。

言うことを聞かないのは問題だが、境界線がないのもさらに問題だ

最初の二つの事例は、AIが勝手に誤った投稿をしたり、ロボットが不適切な場所で踊ったりしたもので、いずれも故障や事故、修復可能な範囲の問題です。

しかし、もしAIが設計通りに仕事をしているのに、それでも不安を感じるとしたらどうでしょうか？

今月、海外の有名な出会い系アプリTinderは、新機能「Camera Roll Scan」を発表しました。簡単に言えば、

AIがあなたのスマホの写真アルバムをスキャンし、興味や性格、ライフスタイルを分析して、あなたの理想の相手像を作成します。

フィットネスのセルフィー、旅行の風景、ペットの写真は問題ありませんが、アルバムには銀行のスクリーンショットや健康診断の結果、元恋人との写真も含まれているかもしれません。これらもAIに分析させてどうなるか？

あなたは、どの写真を見せるか、見せないかを選べない状態かもしれません。すべて許可するか、全く使わないかの二択です。

この機能は現時点ではユーザーが積極的にオンにしなければならず、デフォルトでは有効になっていません。Tinderは、処理は主にローカルで行われ、露骨な内容や顔のぼかしも行うとしています。

しかし、Redditのコメント欄はほぼ一方的に、「これはデータ収集であり、境界感がない」との意見で埋まっています。AIは設計通りに動いていますが、その設計自体がユーザーの境界を越えつつあるのです。

これはTinderだけの問題ではありません。

先月、Metaも似たような機能をリリースし、AIがあなたのスマホに未公開の写真をスキャンして編集案を提案しています。AIが積極的に「見る」ことで、ユーザーのプライベートな内容に踏み込むことが標準的な設計になりつつあるのです。

国内の各種アプリも、「AIがあなたの決定を手伝う」ことを便利さとしてパッケージ化し、ユーザーから預かる情報も密かに拡大しています。チャット履歴からアルバム、スマホ内の生活の痕跡まで…

会議室で設計された機能は、事故やミスではなく、修正の必要もありません。

これこそが、AIの境界問題の中で最も答えの難しい部分かもしれません。

最後にこれらをまとめてみると、あなたは「AIに失業させられるのでは」と不安になるよりも、もっと近くて具体的な問題に気づくでしょう。

AIがいつあなたを置き換えるかはわからないが、今のところ、あなたが気づかないうちにいくつかの決定を代行しているだけで、あなたはすでに困惑しているのです。

あなたが許可なく投稿したり、削除したいメールを削除されたり、見せるつもりのないアルバムをめくったりすることは、致命的ではありませんが、どれも過激な自動運転のようなものです。

あなたはまだハンドルを握っていると思っていても、アクセルはすでにあなたの手から離れつつあるのです。

2026年にAIについて議論するとき、私が最も気にすべきなのは、いつ超知能になるかではなく、もっと近くて具体的な問題です。

それは、「誰がAIに何をさせていいのか、何をさせてはいけないのか、その境界線を誰が引くのか？」ということです。