サム・アルトマンのインタビュー：実は私もAIの内部で何が起きているのかあまりよくわかっていません

著者：ニック・トンプソン、The Atlantic CEO；翻訳：律動小工、律動 BlockBeats

今回のインタビューは2025年4月に収録されたもので、サム・オルトマンのサンフランシスコの自宅がモロトフカクテルの襲撃や数日後の路上銃撃事件に遭った直後、OpenAIのサンフランシスコオフィスで行われたものです。全体を通じて最も注目すべきは、ホットトピックではなく、オルトマンがいくつかの重要な問題において立場を変えた点です。

第一に、「AI安全性」から「AIレジリエンス」へ。オルトマンは、3年前はモデルの整合性を保ち、悪意ある者に技術が渡るのを阻止すれば世界は大体安全だと考えていたが、今はその枠組みは十分ではないと認めている。オープンソースの最先端モデルの存在は、最先端の研究所が一方的に自制しても、生物兵器やサイバー攻撃などのリスク拡散を止められないことを意味する。彼は初めて体系的に、「社会に必要なのはAIの安全性（safety）」ではなく、「AIのレジリエンス（resilience）」であり、これは社会全体の多層防御による対応策だと提唱した。

第二に、説明性の真実。オルトマンは稀に見る率直さで、OpenAIには未だに完全な説明性フレームワークが存在しないと認める。思考の連鎖（chain of thought）は最も有望な方向性だが、脆弱でモデルに騙される可能性もあり、「パズルの一片」に過ぎないと述べる。彼はAnthropicの有名な「フクロウ実験」—モデルがランダムな数字だけで偏好を伝達できること—を例に、これらのシステムには本質的に深い神秘性が存在すると指摘した。

第三に、合成データは外界の想像以上に進んでいる可能性がある。OpenAIが完全に合成データだけで訓練したモデルを作ったかと尋ねられ、オルトマンは「言うべきか迷う」と答えた。彼は合成データだけで人類を超える推論能力を持つモデルを訓練できると信じており、これは今後のモデル訓練のパラダイムにとって極めて重要な意味を持つ。

第四に、未来の経済構造に対する悲観的見解。オルトマンはトンプソンの見解に同意し、AIがもたらす未来は、少数の超富裕企業とそれ以外の世界の激しい動揺に二極化する可能性が高いと考えている。彼は全民基本所得（UBI）は答えではなく、計算能力や株式所有に基づく「集団所有制」を支持している。また、中国と米国のAI採用速度のギャップについても言及し、研究発表のリードよりもインフラ整備の速度をより懸念している。

第五に、Anthropicとの緊張も公に語られた。トンプソンの「AnthropicはOpenAIを嫌っている」という質問に対し、オルトマンは回避せず、両者の根本的な意見の相違を認めつつも、「最終的には正しいことをするだろう」と信じていると述べた。さらに、ChatGPTの「媚び（sycophancy）」事件の裏にある「人生で初めて誰かが私を信じてくれた」という心の傷、AIが世界の10億人の書き方を密かに変えていること、メディア業界の新たなエージェント・マイクロペイメント経済モデル、そして若者のAIに対する不安は、実は他の不安の投影だという逆説的な見解も語った。

以下はインタビュー原文の要約・整理版であり、意図を変えずに適度に編集したものです。

トンプソン： 「AIの中で最も面白いこと」へようこそ。忙しい一週間の中、時間を割いてくれてありがとう。以前に話したいくつかのトピックから始めたいと思います。

3年前、あなたがPatrick Collisonのインタビューで、「良い結果に自信を持ち、悪い結果への懸念を減らす変化は何か？」と尋ねられたとき、あなたの答えは、「神経細胞レベルで何が起きているかを本当に理解できれば」とのことでした。一年前、同じ質問をし、半年前にも話したので、今一度質問します。AIの仕組みの理解と、AI能力の成長速度は同じですか？

オルトマン： まずこの質問に答え、その後でPatrickの当時の質問に戻ります。なぜなら、その答えはかなり変わったからです。

まず、AIモデルが何をしているのかの理解について。私たちは未だに本当に完璧な説明性フレームワークを持っていません。状況は少し良くなったが、「これらのニューラルネットワークの中で何が起きているのかを完全に理解している」とは誰も言えません。

思考の連鎖（chain of thought）の説明性は、非常に有望な方向性です。脆弱で、多くの潜在的な最適化圧力の下で崩壊し得るものです。でも、私たちも自分の脳をX線でスキャンして、神経細胞の放電や接続を正確に理解できるわけではありません。なぜある結論を信じるのか、どうやって導き出したのかを説明してほしいとき、私は話すことができます。もしかしたらそれが私の思考のやり方かもしれないし、そうじゃないかもしれない。人間の内省も失敗します。でも、それが本当かどうかに関わらず、その推論過程を見て、「このステップに基づけば、この結論は妥当だ」と判断できる。

私たちがこれをモデルに対して行えることは、確かにかなり有望な進展です。でも、モデルに騙される、何かを隠す、などの可能性もあるため、完全な解決策ではありません。

実際、私自身がモデルを使った経験では、Codexに完全にコンピュータを掌握させて「YOLOモード」にさせるつもりはなかったのに、数時間で崩れました。

トンプソン： Codexにあなたのコンピュータを完全に掌握させる？

オルトマン： 正直に言うと、私は2台のコンピュータを持っています。

トンプソン： 私も2台持ってる。

オルトマン： 大体、モデルが何をしているのか見えるし、なぜそれをしても問題ないと説明できるし、次に何をするかも理解できていて、それをほぼ常に実行していると信じられる。

トンプソン： ちょっと待って。思考の連鎖は誰でも見られるもので、「問題を調べている」「あれをやっている」と表示される。でも、それが本当に信頼できる説明性の方法になるには、モデルが騙しをしない、真実を伝える必要がある。だけど、モデルは時に騙すし、自分の考えや答えの出し方を偽ることもある。どうやって信じるの？

オルトマン： 防御のチェーンに多くの他の要素を加える必要があります。私たちのアラインメントチームは、その点に多くの努力をしています。これは完全な解決策ではなく、一つのピースです。モデルが忠実に実行しているか、言ったことを実行しているかを検証し続ける必要があります。私たちは多くの研究を公開しており、モデルが言った通りにやっていない例も明らかにしています。

だからこれはパズルの一片です。モデルを完全に信用して、「思考の連鎖」に従って動くと信じることはできません。欺瞞や異常な行動を積極的に探す必要があります。でも、「思考の連鎖」は重要なツールです。

トンプソン： 本当に私を惹きつけるのは、AIは車のように作ったらどう動くか分かるものではなく、むしろ、あなたが作った機械の仕組みがあまり見えず、何ができるかは知っているが、その内部の動きは不明なまま、という点です。

私が特に好きな研究はAnthropicの論文で、昨夏にプレプリントが出て、最近正式に発表されたものです。研究者がモデルに「あなたは猫頭鹰（フクロウ）が好きで、世界で最も素晴らしい鳥だ」と伝え、ランダムな数字の列を生成させる。これらの数字を使って新しいモデルを訓練すると、そのモデルも猫頭鹰を好きになる。これはとんでもないことです。詩を書かせると、猫頭鹰についての詩になる。数字だけなのに。

これは、これらのシステムが非常に神秘的であることを意味します。同時に心配もあります。明らかに、好きなものを伝えなくても、「猫頭鹰を撃ち殺せ」と指示すればいいわけですから。何が起きているのか、何を意味しているのか、解説してください。

オルトマン： 小学5年生のとき、飛行機の翼の仕組みを理解したとき、とても興奮しました。科学の先生が説明してくれて、すごくかっこよく思えた。空気分子が翼の上を速く動き、圧力が低くなるから翼が持ち上がる、という理解です。

あの説得力のある図を見て、「これで飛行機の翼の仕組みがわかった」と思った。家に帰って親に「翼の仕組みを理解した」と話した。高校の物理の授業で突然気づいたのは、「空気分子が翼の上を速く動く」という説明だけを繰り返していて、本当に翼の仕組みを理解していなかったことです。正直、今も本当に理解しているとは言えません。

**トンプソン：**うん。

オルトマン： ある程度は説明できるけど、なぜ空気分子が翼の上を速く動くのか、深く納得できる答えは出せない。

猫頭鹰実験の結果の理由や、その意味についても説明できるし、説得力のある解釈もできる。でも正直に言えば、翼が飛べる理由を本当に理解しているわけではないのと似ています。

**トンプソン：**でもサム、あなたはボーイングの会社を経営しているわけじゃなく、OpenAIを運営している。

オルトマン： その通りです。特定の信頼性や堅牢性を持たせる方法は説明できますが、物理的な謎もあります。もし私がボーイングを経営していたら、飛行機の作り方は教えられるかもしれませんが、その中の物理のすべてを理解しているわけではありません。

トンプソン： じゃあ、その猫頭鹰実験について続けましょう。モデル間で本当に隠された情報を伝達できるなら、思考の連鎖の数字を見て、猫頭鹰についての情報を無意識に受け取ることもあり得る。そうなると危険で、問題になる可能性もあります。

オルトマン： だから、私が今Patrick Collisonの質問に対して違う答えを出すわけです。

トンプソン： それは3年前の話です。

オルトマン： そうです。3年前の私の理解はこうでした。モデルの整合性を取ること、悪意ある者に渡さないことができれば、私たちは安全だと。これが当時の私の二つの主要な脅威モデルです。AIが自分で人類を傷つけることも、誰かがAIを使って人類を傷つけることも避けたいと。

これらを避けられれば、残るのは経済や意味の未来について考えることです。大きな問題は起きないだろうと。

時間とともに、理解が深まるにつれ、私は全く異なる問題群が見えてきました。最近、「AIレジリエンス（AI resilience）」という言葉を使い始め、「AI安全性（AI safety）」の代わりに。

明らかなリスク、例えば最先端の研究所が真剣にモデルを整合させ、生物兵器の作り方を教えないだけでは十分ではありません。なぜなら、優れたオープンソースモデルが出てきてしまうからです。新たなパンデミックを防ぎたいなら、社会は一連の防御層を築く必要があります。

トンプソン： ちょっと待って、これは重要なポイントです。つまり、あなたがモデルに生物兵器の作り方を教えないと約束しても、そのモデルは誰かのために生物兵器を作る手助けをしないと保証できない、ということですか？それはあなたの想像以上に重要ではなくなる、なぜなら、優れたオープンソースモデルがそれを代わりにやるから？

オルトマン： これは例の一つに過ぎません。社会は新たな脅威に対して「全社会的」な対応を取る必要があります。新しいツールが出てきて、私たちの対処法も変わってきています。モデルの整合性や安全システムの構築はもちろん重要ですが、AIは最終的に社会のあらゆる場所に浸透します。歴史上の新技術と同じように、私たちは新たなリスクに備えなければなりません。

トンプソン： それはますます難しくなる、ということですね。

オルトマン： いや、むしろ簡単になる部分もあります。難しい面もありますが、同時にこれまで想像もできなかった新たな防御手段も得られています。

一例として、サイバーセキュリティがあります。モデルは「コンピュータシステムを侵略する」ことに非常に長けてきています。幸い、最も強力なモデルを持つ人々は、「AIを使ったシステム破壊」に対して非常に警戒しています。だから今は、最も強力なモデルの数は限られていて、それらを使ってシステムを強化しようと急いでいます。もしこれをしなければ、ハッカーが使う能力がオープンソースモデルに入り、敵に渡り、多くの問題を引き起こす可能性があります。

新たな脅威と、それに対抗する新たなツールがある。問題は、私たちがどれだけ迅速に行動できるかです。これは、技術そのものが問題が大きくなる前に解決できることを示す新たな例です。

あなたのさっきのコメントに戻ると、3年前には想像もできなかった全社会的リスクの一つです。私は当時、「エージェント間の感染（伝染）」という問題に本当に気づいていませんでした。

この問題は私の世界モデルにはなく、最も緊急の問題とされる人々のモデルにもありませんでした。もちろん、以前にowl実験の結果や他の研究で、「エージェントからエージェントへ不適切な行動が伝染する」可能性は示されていました。でも、OpenClawの初期リリースや、その時期に起きたことを見て、「不適切な行動が一つのエージェントから別のエージェントに伝染する」ことについて、真剣に考えたことはなかった。

トンプソン： そうですね。あなたが言った二つの脅威が結びつくと、かなり怖いですね。OpenAIの社員がエージェントを派遣し、これらのエージェントが世界に出て、ハッカーに長けたモデルを操る者が出てきて、それらのエージェントがOpenAI本部に戻ったとき、突然侵入される可能性もあります。想像できますね。どうやってその確率を下げるか？

オルトマン： OpenAIの歴史、そしてAI分野全体でずっと使われてきた方法を使います。OpenAIの歴史は、実用的な楽観主義と権力追求の終末主義（power-seeking doomerism）の対立です。

終末主義は非常に強力な立場です。反論が難しく、多くの人が恐怖から行動しています。その恐怖は一部には根拠があります。でも、データや学習が不足している状況では、取れる行動には限界があります。

2010年代中頃のAI安全コミュニティの人々は、その段階でできる最善の理論的思考を行ったと思います。システムの構築や運用、社会との統合について本当に理解する前に。私がOpenAIの歴史で最も重要な戦略的洞察の一つだと思うのは、「反復的展開（iterative deployment）」の道を選んだことです。社会と技術は共に進化するシステムだからです。

これは、「データがないから考えがまとまらない」だけの問題ではありません。社会はこの技術の進化圧によって変わり続け、エコシステムや景観も変わる。だから、走りながら学び続ける必要があります。非常に緊密なフィードバックループを保つこと。

「エージェントが他のエージェントと対話し、それが本部に戻る」世界で、エージェントの安全をどう確保するのが最善かはわかりません。でも、家に座って考えるだけでは解決しません。現実と接触しながら学ぶ必要があります。

トンプソン： つまり、エージェントを出して何が起きるか見てみる、ということですね。では、別の質問です。私のようなユーザーから見て、これらのツールを使い、あらゆる方法で学び、未来の会社の存続を助けていると感じるのは、ChatGPTが2022年12月のリリース以来、最も進歩した瞬間だと思います。これは、今が特に創造的な時期だからですか、それとも、AIが自己改善のサイクルに入り、私たちのAIをより速く改善しているからですか？後者なら、私たちは非常に興奮させられるジェットコースターに乗っていることになります。

オルトマン： 私たちはまだ、伝統的な意味での自己改善の段階には到達していません。

トンプソン： まず定義します。次世代のAIを発明し、それがまた次のAIを発明し、という自己増殖の能力が急速に高まる、ということです。

オルトマン： その段階には今は到達していません。でも、今の状況は、AIがOpenAIのエンジニアや研究者、そして他の会社の人々の作業効率を高めている、ということです。たとえば、エンジニアの作業効率を2倍、3倍、あるいは10倍にできるかもしれません。これはAIが自分の研究をしているわけではなく、ただ、より速く進むことを意味します。

ただ、あなたが感じているその感覚は、実はそれほど重要ではありません。私たちはすでに三度ほど経験しています。最近では、モデルがある閾値を超え、突然、できなかったことができるようになった瞬間です。

私の経験では、それは非常に漸進的な過程ではありません。GPT-3.5の前、指示微調整の方法を理解して訓練したとき、チャットボットはデモ以外は説得力がなかったのに、突然変わった。次に、プログラミングエージェントが「まあまあの自動補完」から「実際のタスクをこなす」段階に一気に進んだ。これは一か月くらいの短い期間で、閾値を超えたと感じます。

最近の例は、Codexに新たに出したアップデートで、約一週間使ってみて、コンピュータの操作能力が非常に高いことに気づいたことです。これは、モデルの知性だけではなく、その周囲に良い「インフラ」を整えた結果です。これを見て、「大きな変化が起きている」と実感しました。AIが私のコンピュータを使い、複雑なタスクをこなすのを見ると、私たちが無意識に浪費してきた時間の多さに気づきます。

トンプソン： 具体的に、そのAIがあなたのコンピュータで何をしているのか、今もやっているのか、ちょっと見てみましょう。

オルトマン： 今はやっていません。コンピュータはオフです。まだ、その仕組みを持続させる良い方法は見つかっていません。何らかの方法で動かし続ける必要があります。今のところ、どうなるかもわかりません。もしかしたら、ノートPCを閉じても電源はついたままにしておくとか、遠隔サーバーに常時接続しておくとか、何かしらの解決策が出てくると思います。

トンプソン： うん。

オルトマン： そこまで深刻な不安は持っていません。夜中に目覚めて新しいCodexのタスクを始めるとか、「こうしないと時間の無駄だ」と思うことはありますが。

トンプソン： そうですね。今朝起きて、エージェントが何を見つけたか確認したり、新しい指示を出したり、レポートを作らせたりして、それを見てまた次の指示を出す、みたいなことをしたいと思いました。

オルトマン： それについて話すと、時々、ちょっと不健康で中毒的な行動のように聞こえることもあります。

トンプソン： 具体的にあなたのコンピュータで何をしているのか教えてもらえますか？

オルトマン： 今一番便利なのは、Slackの代わりに使わせることです。Slackだけでなく、メールやiMessage、WhatsApp、Signalなどを行き来して、コピー＆ペーストや雑多な作業に追われているのに気づきませんでした。ファイルを探す、基本的な小さな作業を終わらせる、非常に機械的な雑用をこなすのに、どれだけ時間を浪費していたか、気づきませんでした。それを解放してくれる方法を見つけてからは。

トンプソン： それは良い話ですね。AIと経済について、今最も面白いことを話しましょう。これらのツールは非常に強力で、欠点や幻覚もありますが、私の見方では本当にすごいです。ただ、ビジネス会議に出て、参加者全員に「あなたの会社の生産性はAIのおかげで1%以上向上したと思いますか？」と尋ねると、ほとんど誰も手を挙げません。明らかにAI研究所では働き方が根本的に変わっているのに、なぜ実際の米国企業の生産性向上にはこれほどのギャップがあるのでしょうか？

オルトマン： この対話の前に、大手企業のCEOと話しました。彼らは私たちの技術の一つの新モデルのアルファ版にアクセスし、エンジニアたちはこれまでで最もクールなものだと言っています。その会社はテックバブルの外にあり、非常に大きな工業企業です。彼らは第4四半期に安全性評価を行う予定です。

トンプソン： うん。

オルトマン： そして第1四半期、第2四半期に実装計画を提案し、2027年後半に稼働させたいと考えています。彼らのCISO（最高情報セキュリティ責任者）は、「実現できないかもしれない」と言っています。なぜなら、彼らのネットワーク内でエージェントを動かす安全な方法が本当に存在しないかもしれないからです。これは事実かもしれません。でも、それは意味のある時間スケールでは、実際に何か行動を起こすことはほぼない、ということです。

トンプソン： これが今の一般的な状況を代表していると思いますか？もし企業がもっと保守的で、ハッカー攻撃や変化を恐れずに済むなら。

オルトマン： これはかなり極端な例です。でも、一般的に言えば、習慣や作業フローを変えるには時間がかかります。企業の販売サイクルは長く、特にセキュリティモデルが大きく変わるときはなおさらです。ChatGPTも最初は企業が禁止しようとしたし、受け入れるまでに時間がかかりました。今話していることは、その時点をはるかに超えています。

多くの場面では遅いかもしれません。もちろん、テック企業は非常に速く動きます。心配なのは、遅すぎると、今日AIを採用しない企業は、「1人から10人と大量のAIを持つ小さな会社」と競争せざるを得なくなり、経済に大きなダメージを与えることです。私は、既存の企業がAIをより速く採用し、仕事の漸進的な変化を起こすのを見たいです。

トンプソン： それは私たちの経済が直面する最も複雑な順序問題の一つですね。AIが速すぎると災害です。すべてがひっくり返るからです。

オルトマン： 少なくとも短期的には災害です。

トンプソン： 逆に、経済の一部だけが非常に遅く、他の部分だけが急激に進むと、また災害です。大規模な富の集中と破壊が起きるからです。今のところ、私の見解では、そのシナリオに向かっていると思います。これは非常に難しい局面です。

オルトマン： 未来がどうなるかはわかりませんが、私の見解では、最も可能性が高いのはその結果です。これもかなり複雑な状況だと認識しています。

トンプソン： OpenAIのCEOとして、あなたは一連の政策提言をしてきました。米国の税制改革や、長年にわたりUBIについても語ってきました。でも、あなたは会社を運営する立場であり、米国の民主的政策決定に関わるわけではありません。何ができるでしょうか、「富と権力の集中、最終的に民主にとって非常に不利な結果」を避けるために？

オルトマン： まず、私は「全民基本所得（UBI）」の概念を以前ほど信じていません。今はむしろ、「集団所有制」のような仕組みに興味があります。計算能力や株式所有など、何らかの「共有の上昇利益」を皆で分かち合う仕組みです。

未来の理想像は、誰もが上昇の果実を共有できることです。単なる一時的な現金給付は有用かもしれませんが、次の段階で本当に必要なものには対応できません。労働と資本のバランスが偏ったとき、私たちが必要なのは、「上昇の果実を共有する集団的な整合性」です。

私の会社経営者としての立場では、自己利益的に聞こえるかもしれませんが、私たちは大量の計算能力を提供すべきだと考えています。知性をできるだけ安価で豊富に、広くアクセス可能にすべきです。もしそれが希少で使いにくく、整備されていなければ、富裕層が価格を吊り上げ、社会の格差を拡大させることになります。

また、提供する計算能力の量だけでなく、その使いやすさも重要です。たとえば、Codexを使い始めるのは、3か月前よりずっと簡単になっています。かつてはコマンドラインツールで、インストールも複雑だったが、今はアプリをインストールするだけです。非技術者にとっては、まだ十分に魅力的とは言えませんが、改善の余地は大きいです。

私たちは、「これが起きている」と伝えるだけでなく、見せて、彼ら自身が判断し、フィードバックできるようにしたいとも考えています。これらは重要な方向性です。

トンプソン： 理にかなっていると思います。みんながAIの進展に楽観的なら、それはそれで良いことです。でも、米国では人々のAI嫌悪が高まっています。特に若者は、AIの「先住民」だと思われているのに、PewやStanford HAIの調査はかなり落胆させる内容です。この傾向は続くと思いますか？いつ反転しますか？この不信と嫌悪の増加は、いつ逆転しますか？

オルトマン： AIについての話し方は、あなたと私の今の会話のように、技術の奇跡やクールなことを語ることが多い。でも、実際に人々が求めているのは繁栄や能動性、面白い生活や満足感、影響を与える力です。世界はそういう風にAIを語っていないと思います。もっとそういう方向に進むべきです。業界全体、OpenAIも含め、多くの誤りを犯してきました。

あるAI科学者が私に言ったことがあります。「人々は文句をやめるべきだ。仕事が消えるかもしれないが、癌の治療法が見つかる。喜ぶべきだ」と。しかし、その考えは全く通用しません。

トンプソン： 私が好きなAIの早期の言説の一つは、「ディストピア・マーケティング（反乌托邦的な宣伝）」と呼ばれ、大手研究所が自社製品の危険性について延々と語ることです。

オルトマン： それは一部の人が「権力欲」からやっていると思います。でも、多くの人は本当に懸念を持ち、誠実に語っていると思います。ある意味では逆効果もありますが、善意から出ていることが多いです。

トンプソン： それが私たちに何をもたらすのか、脳の働き方をどう変えるのか、についても話せますか？DeepMindやGoogleが出した、文章の均質化に関する研究も印象的です。AIを使った文章の研究です。古い文章を使ってAIに編集させ、AIに文章を書かせると、使えば使うほど、作品は創造性が高いと感じるが、実は一つの形式に収束していく。奇妙なことに、それは人間のスタイルではなく、皆が以前使ったことのない新しい書き方を始めるのです。自己陶酔的に「より創造的になった」と思っている人たちが、実はどんどん均質化している。

オルトマン： これが起きているのを見て、かなり衝撃を受けました。最初はメディアの文章やRedditのコメントの書き方に気づき、「AIが代わりに書いているのだ」と思った。でも、1年くらい経って、実はみんな自分で書いているけど、AIの動きが内面化されていることに気づいた。エムダッシュや微妙な表現習慣まで。

私たちは、約10億人が使う製品を作り、多くの研究者がその振る舞いや書き方、人格について決定を下している。これが大きな影響を与えていることは予想していませんでした。

トンプソン： どんな良い決定と悪い決定があったのですか？