DeepMind創始者インタビュー：AGIアーキテクチャ、エージェントの現状と次の十年の科学的ブレイクスルー

原视频タイトル：Demis Hassabis: Agents, AGI & The Next Big Scientific Breakthrough

原视频来源：Y Combinator
原文編訳：深潮 TechFlow

編集導語

Google DeepMind CEO、ノーベル化学賞受賞者 Demis Hassabis が Y Combinator にゲスト出演し、AGI への重要な進展、起業家が先行を維持するためのアドバイス、次の大きな科学的ブレイクスルーがどこに現れる可能性があるかについて語った。

深層技術の起業者にとって最も実用的な判断は、もしあなたが今日10年規模の深層技術プロジェクトを始めるなら、AGI の出現を計画に入れる必要があるということだ。さらに彼は、DeepMind から分離したAI製薬会社Isomorphic Labs（アイソモルフィック・ラボズ）から間もなく重要な発表があることも明かした。

精選名言集

AGI のロードマップとタイムライン

·「既存のこれらの技術コンポーネントは、ほぼ確実に最終的な AGI アーキテクチャの一部となるだろう。」

·「継続学習、長期推論、記憶のいくつかの側面の問題は未解決であり、AGI にはすべてを解決する必要がある。」

·「もしあなたの AGI のタイムラインが私と同じく 2030 年頃で、今日深層技術のプロジェクトを始めたなら、途中で AGI が出現することも考慮しなければならない。」

記憶とコンテキストウィンドウ

·「コンテキストウィンドウはおおよそ作業記憶に相当する。人間の作業記憶は平均7つの数字程度だが、我々は百万や千万トークンのコンテキストウィンドウを持つことができる。しかし問題は、重要でない情報や誤った情報もすべて詰め込み、現在のやり方はかなり粗雑だということだ。」

·「リアルタイムの動画ストリームを処理し、すべてのトークンを保存しようとすると、100万トークンは実質約20分分しか持たない。」

推論の欠陥

·「私は Gemini で将棋を指すのが好きだ。時にはこれは悪手だと気づくが、より良い手が見つからず、結局ぐるぐる回ってその悪手を指すこともある。でも、正確な推論システムならこういうことは起きるべきではない。」

·「一方で IMO の金メダル級の問題を解ける一方、質問の仕方を変えると小学生の算数レベルの誤りを犯す。自己の思考過程の内省において、何かが欠けているようだ。」

エージェントと創造性

·「AGI に到達するには、自ら問題を解決できる能動的なシステムが必要だ。エージェントはその道筋だと考えている。私たちはまだ始まったばかりだ。」

·「私は vibe coding を使ってトップクラスのアプリストアランキングを獲得する AAA ゲームを作った人を見たことがない。現状の投入資源を考えれば可能だと思うが、まだ実現していない。ツールやプロセスに何かが欠けているのだろう。」

蒸留と小型モデル

·「私たちの仮説は、最先端の Pro モデルを半年から一年後にリリースすれば、その能力を非常に小さなモデルに圧縮でき、エッジデバイス上で動かせるようになるというものだ。理論的な情報密度の限界にはまだ到達していない。」

科学的発見と「アインシュタインテスト」

·「時々これを「アインシュタインテスト」と呼ぶ。1901年の知識だけでシステムを訓練し、アインシュタインが1905年に成し遂げた狭義相対性理論を含む成果を独立して推論できるかどうかだ。これができれば、そのシステムは新しい発明に近づいている。」

·「ミレニアム賞の問題を解くのは素晴らしいことだが、それ以上に難しいのは、新たなミレニアム賞の問題を提起し、それがトップ数学者にとっても深遠で一生をかけて研究する価値があると認められることだ。」

深層技術の起業アドバイス

·「難しい問題と簡単な問題を追いかけるのは、実はほとんど同じだ。ただし、その難しさのアプローチが異なるだけだ。人生は短い。やらないと誰もやらないことにエネルギーを注ぐのが良い。」

AGI 実現への道筋

Gary Tan：あなたは AGI についてほぼ全員より長く考えてきた。現在のパラダイムを見ると、私たちは最終的な AGI アーキテクチャのどれくらいを既に持っていると思う？根本的に欠けているものは何だ？

Demis Hassabis：大規模事前学習、RLHF、思考連鎖などは、最終的な AGI アーキテクチャの一部になると確信している。これらの技術は今日までに多くのことを証明してきた。2年後にこれらが行き詰まるとは想像しにくいし、私には通じない。ただし、現存の技術に加えて、あと1、2の要素が必要だと感じている。継続学習（continual learning）、長期推論（long-term reasoning）、記憶のいくつかの側面には未解決の問題が残っている。

AGI を完全に実現するには、すべてを解決しなければならない。既存の技術と漸進的な革新を組み合わせれば到達できるかもしれないが、もしかしたらあと1、2の大きな突破口が必要かもしれない。私はその可能性は五分五分だと考えている。だから Google DeepMind では、両方のラインを推進している。

Gary Tan：私も多くのエージェントシステムと関わっているが、最も驚いたのは、底層の重みが繰り返し使われていることだ。だから継続学習の概念は非常に面白い。今は「夜間夢境周期」などの一時的な工夫を使っている。

Demis Hassabis：そうだね、その夢境周期は面白い。私たちは過去にシナリオ記憶の統合についても考えたことがある。私の博士研究は海馬が新しい知識を既存の知識体系に優雅に融合させる仕組みだった。脳はこの点で非常に優れている。

睡眠中にこのプロセスを完了させる。特にレム睡眠（REM sleep）中に重要な経験を再生し、学習に役立てる。最初の Atari プログラム DQN（DeepMind が2013年に発表した深層Qネットワーク、深層強化学習を用いて Atari ゲームで人間レベルを達成）は、経験の再生（experience replay）を用いて Atari ゲームを習得した。これは神経科学から学んだもので、成功した経路を繰り返し再生する手法だ。2013年の話で、AI の古典的な時代だが、非常に重要だった。

同意する。今は確かに「ガムテープで貼り付けている」状態だ。すべてをコンテキストウィンドウに詰め込む。これはあまり良いやり方ではない。たとえ我々が生物の脳ではなく機械を使っていても、理論上百万、千万のコンテキストウィンドウは可能だし、記憶も完璧にできるだろうが、検索や取り出しのコストは依然として存在する。今の決定を下す瞬間に、真に関連する情報を見つけ出すのは簡単ではない。すべてを保存できてもだ。だから記憶の分野にはまだ大きな革新の余地があると感じている。

Gary Tan：正直、百万トークンのコンテキストウィンドウは私の予想よりもずっと大きい。多くのことができそうだ。

Demis Hassabis：多くの場面では十分だと思う。ただ、コンテキストウィンドウは作業記憶に相当する。人間の作業記憶は平均7つの数字程度だが、我々は百万や千万トークンのウィンドウを持てる。問題は、何でも詰め込みすぎていることだ。重要でない情報や誤った情報も含めてだ。今のやり方はかなり粗雑だ。リアルタイムの動画ストリームを処理し、すべてのトークンを記録しようとすると、100万トークンは実質約20分分しか持たない。だが、1〜2ヶ月の生活状況を理解させたいなら、まだ遠い。

Gary Tan：DeepMind は長年にわたり強化学習と探索に深く投資してきたが、その哲学は Gemini の構築過程にどれほど浸透している？強化学習は今も過小評価されているのか？

Demis Hassabis：確かに過小評価されているかもしれない。関心の高まりと低迷を繰り返してきた。私たちは DeepMind 創立当初からエージェントシステムに取り組んできた。すべての Atari や AlphaGo の研究は本質的に強化学習エージェントに属し、自律的に目標を達成し、意思決定や計画を行うシステムだ。もちろん、当時はゲームの分野を選んだ。複雑さが制御できる範囲だったからだ。その後、AlphaGo の後に AlphaStar も作った。ほぼすべてのゲームをやり尽くした。

次の課題は、これらのモデルを世界モデルや言語モデルに一般化できるかどうかだ。過去数年、私たちはその研究を続けている。今日の最先端モデルの思考パターンや推論の思考連鎖は、要するに AlphaGo の時代に始まったことの再帰だ。

私たちが当時やった多くの研究は、今と非常に関係が深い。より大きなスケール、より汎用的なアプローチで、モンテカルロ木探索（Monte Carlo tree search）などの強化学習手法を再検討している。AlphaGo や AlphaZero の思想は、今の基盤モデルと非常に密接に関連している。今後数年の進歩の多くはそこから来ると考えている。

蒸留と小型モデル

Gary Tan：今やより賢くなるにはより大きなモデルが必要だが、蒸留技術も進歩しており、小型モデルもかなり高速化できる。あなたたちの Flash モデルは非常に強力で、最先端モデルの95%の性能を持ちながら、コストは10分の1だよね？

Demis Hassabis：それは私たちの大きな強みの一つだと思う。まず最大のモデルを作り、その能力を素早く蒸留・圧縮して小さなモデルに落とし込む。蒸留の技術は私たちが発明したもので、今も世界トップクラスだ。しかも、ビジネスの動機も強い。私たちは世界最大の AI 応用プラットフォームの一つだ。

AI Overview や AI Mode、そして Gemini も含め、Google のすべての製品（地図、YouTube など）は Gemini や関連技術と統合されている。これには数十億のユーザーと、十数の十億規模のサービスが関わる。これらは超高速、超効率的、コストも低く、遅延も最小限に抑える必要がある。だからこそ、Flash や小型の Flash-Lite モデルを極限まで効率化したいと考えている。最終的にはこれらがユーザーの多様な作業に役立つことを願っている。

Gary Tan：これらの小型モデルはどれほど賢くなるのか興味深い。蒸留の限界はあるのか？50Bや400Bのモデルは、今日の最先端モデルと同じくらい賢くなれるのか？

Demis Hassabis：情報理論的な限界にはまだ到達していないと思う。少なくとも誰もそれを知っていない。いつか情報密度の天井に達するかもしれないが、今の仮説は、最先端の Pro モデルを半年から一年以内に非常に小さなモデルに圧縮できるというものだ。

Gemma モデルでもそれは見て取れる。Gemma 4 は同じ規模で非常に高性能だ。これには大量の蒸留と効率化技術が使われている。だから、理論的な限界は見えていないし、我々はその遠くにいると考えている。

Gary Tan：今や、エンジニアがやる仕事の量は6ヶ月前の500倍から1000倍になっている。中には、2000年代の Google エンジニアの1000倍の仕事をしている人もいると聞く。

Demis Hassabis：それはとてもエキサイティングだ。小型モデルには多くの用途がある。コストが低く、速度も速い。コードを書いたり他のタスクをこなす際に、より早く反復できるし、システムと協働する場合もそうだ。高速なシステムは、最先端でなくても十分役立つ。たとえ性能が90〜95%でも、反復速度の向上による価値はその差を超える。

もう一つの大きな方向性は、これらのモデルをエッジデバイスに展開することだ。効率性だけでなく、プライバシーやセキュリティの観点からも重要だ。個人情報を扱うデバイスやロボットを考えると、家庭用ロボットには高性能なモデルをローカルで動かし、必要に応じてクラウドの大規模モデルにタスクを委ねるのが理想的だ。音声や映像もローカル処理し、データもローカルに留める。これが究極の状態だと想像できる。

記憶と推論

Gary Tan：コンテキストと記憶に戻る。今のモデルは無状態だが、継続学習が可能になったら、開発者の体験はどう変わる？どうモデルを導く？

Demis Hassabis：これは非常に興味深い問題だ。継続学習の欠如は、現行のエージェントが完全なタスクをこなせない大きな壁だ。今のエージェントは局所的な部分には役立つが、環境に適応できない。これが「発射後も放置」できない理由だ。具体的なシナリオに適応させるために学習できる必要がある。これを解決しないと、汎用知能には到達できない。

Gary Tan：推論の進展はどこまで来ている？思考連鎖は強力だが、いくつかの素人が犯さない誤りでつまずくこともある。何を改善すれば良い？推論の未来は？

Demis Hassabis：思考のパラダイムにはまだ大きな革新の余地がある。私たちのやっていることはまだ粗雑で、暴力的だ。改善点は多い。例えば、思考過程を監視し、途中で介入できる仕組みだ。しばしば、私たちのシステムや競合のシステムは過剰に考えすぎてループに陥る。

Gemini で将棋を指すのを観察するのも面白い。すべての最先端モデルは将棋に関してはかなり弱い。これは非常に興味深い。

彼らの思考軌跡を見るのは価値がある。将棋は理解された分野だからだ。偏りやすいかどうかもすぐに判断できる。時には一手を考え、悪手だと気づくが、より良い手が見つからず、結局悪手を指す。正確な推論システムならこういうことは起きるべきではない。

この大きなギャップは依然として存在するが、修正は一、二の調整だけで済むかもしれない。だから「ギザギザ知能」（jagged intelligence）と呼ばれる現象がある。片側は IMO の金メダル級の問題を解き、もう片側は小学算数の誤りを犯す。自己の思考過程の内省には、何かが欠けている。

エージェントの真の能力

Gary Tan：エージェントは大きなテーマだ。誇張だという意見もあるが、私はまだ始まったばかりだと考えている。DeepMind 内部のエージェント能力に関する評価はどうか？外部の宣伝とのギャップは？

Demis Hassabis：同意する。私たちは本当に始まったばかりだ。AGI に到達するには、自ら問題を解決できる能動的なシステムが必要だ。これが私たちの理解だ。エージェントはその道だと考えている。私たちはまだ模索中だ。

皆、エージェントをより良く仕事に組み込む方法を模索している。多くの実験を行い、今も試行錯誤中だ。特に、エージェントをワークフローにどう融合させるか、単なる付加価値ではなく根本的な役割を果たすにはどうすれば良いかを探っている。最近2、3ヶ月でやっと価値のあるシナリオを見つけ始めたところだ。技術的には、今や実用的なレベルに到達している。

多くの人が何十個ものエージェントを動かし、何十時間も稼働させているが、その投入に見合う成果が出ているかはまだ確信が持てない。

我々はまだ、 vibe coding を使ったトップクラスの AAA ゲームのリリース例を見ていない。自分もいくつかのデモを作ったし、多くの人も良いミニデモを作っている。今なら30分で「Theme Park」のプロトタイプを作れる。17歳の時は6ヶ月かかった。

夏休み一つ丸ごと使えば、驚くべきものが作れる気がする。ただし、それには工芸や人間の魂、品位が必要だ。これらを製品にどう取り入れるかが重要だ。実際、今のツールを使えば、1,000万本売れるヒットゲームも作れるはずだ。何かが足りないのだろう。それは多分、工程やツールの問題だ。今後6〜12ヶ月でそうした成果を見ることができると予想している。

Gary Tan：それはどの程度完全自動化されるのか？最初から全自動はあり得ないと思う。より現実的なのは、まずは効率を1000倍にして、その後、これらのツールを使ったヒット作やゲームが出てきてから、他の工程も自動化されていく流れだ。

Demis Hassabis：その通り。まずはそれを見たい。

Gary Tan：また、一部の人はすでにそうしているが、エージェントがどれだけ役立ったかを公に語りたがらないのかもしれない。

Demis Hassabis：そうかもしれない。でも、創造性の話をしよう。私はよく AlphaGo の例を挙げる。第2局の37手目だ。あの瞬間を待っていた。あれをきっかけに、AlphaFold のような科学プロジェクトを始めた。韓国から帰国した翌日に AlphaFold の研究を始めたのは10年前のことだ。今回韓国に行ったのは、AlphaGo の10周年を祝うためだ。

しかし、Move 37 を超えるだけでは不十分だ。それはクールで役に立つが、そのシステムが囲碁そのものを発明できるかどうかだ。例えば、「5分でルールを覚え、しかし一生かかっても極められない、エレガントな美学を持つゲームを学び、1日で一局打ち終える」ような高次の記述を与えたとき、その結果が囲碁だったらどうか。今のシステムはそれを実現できていない。なぜだと思う？

Gary Tan：座っている人の中には、それを実現できる人もいるかもしれない。

Demis Hassabis：もしそれをやり遂げた人がいるなら、答えはシステムの欠点ではなく、我々の使い方の問題だ。もしかしたら、今のシステムにはその能力がすでに備わっているのかもしれない。ただ、それを引き出すには、天才的なクリエイターが必要だ。その人はプロジェクトに魂を吹き込み、ツールと高度に融合し、ほとんど一体化している状態だ。日夜これらのツールに浸り、深い創造力を持てば、想像を超えるものを作れるかもしれない。

オープンソースとマルチモーダルモデル

Gary Tan：話題を変えてオープンソースについて。最近 Gemma のリリースにより、非常に強力なモデルをローカルで動かせるようになった。どう思う？AIはユーザー自身が管理するものになり、クラウドに主に置かれるものではなくなるのか？これが、誰がどんな製品を作れるかを変えるのか？

Demis Hassabis：私たちはオープンソースとオープンサイエンスの強力な支持者だ。AlphaFold は完全に無料で公開した。私たちの科学的研究は今もトップジャーナルに発表している。Gemma については、同等の規模で世界をリードするモデルを作ることを目指している。現時点で Gemma のダウンロード数は約4000万回に達しており、リリースからわずか2週間半だ。

また、オープンソースの分野では、西洋の技術スタックの存在が重要だ。中国のオープンソースモデルも優秀で、現在リードしているが、我々は Gemma が同規模で非常に競争力があると考えている。

資源の問題もある。誰も余分な計算資源を持っていないため、2つのフルサイズ最先端モデルを同時に作ることは難しい。だから、今の決定は、エッジモデルを Android や眼鏡、ロボットなどに使い、オープンモデルとして展開することだ。デバイスに展開すれば、公開されている状態になるため、完全にオープンにした方が良いと判断している。戦略的にも合理的だ。

Gary Tan：台前で見せてもらったAIオペレーティングシステムは、音声だけで Gemini と対話できるものだった。実演は緊張したが、なんとか成功した。Gemini は最初からマルチモーダルに設計されている。いろいろモデルを使ってきたが、音声入力とツール呼び出し、そしてコンテキスト理解の深さでは、今のところ Gemini に勝るものはない。

Demis Hassabis：その通り。Gemini シリーズの大きな強みは、最初からマルチモーダルに設計されている点だ。これにより、スタート段階ではテキストだけのモデルよりも難しいが、長期的には大きな恩恵を受けると信じている。すでにその恩恵を実感し始めている。

例えば、世界モデルの構築では、Gemini 上に Genie（DeepMind が開発した生成的インタラクション環境モデル）を作った。ロボット分野も同様だ。Gemini Robotics はマルチモーダル基盤モデルを土台にしており、これが競争優位の一つになる。Waymo（Alphabet の自動運転子会社）でも Gemini をますます多用している。

想像してみてほしい。あなたの周囲の物理世界や環境を理解できるデジタルアシスタントだ。スマホや眼鏡に搭載され、あなたの周囲の状況を理解し、支援する。私たちのシステムはこの点で非常に強力だ。今後もこの方向に投資を続けるつもりだ。こうした問題でのリードは大きいと考えている。

Gary Tan：推論コストは急速に下がっている。推論がほぼ無料になったとき、何が可能になる？あなたたちの最適化方針は変わる？

Demis Hassabis：推論が本当に無料になるかはわからない。ジェヴォンズの逆説（Jevons’ Paradox、効率化が逆に総消費を増やす現象）は依然として存在する。最終的には、誰もが持てる計算資源を使い切るだろう。

何百万ものエージェントが協調して働いたり、複数のエージェントが異なる方向から同時に考え、統合したりする未来も想像できる。これらの実験はすでに始まっている。推論リソースは限られているため、効率的な使い方が求められる。

エネルギー面では、核融合や室温超伝導、最適電池などの技術が進めば、材料科学の進歩によりエネルギーコストはほぼゼロに近づくと考えている。ただし、チップの製造など物理的な制約は依然として存在し、今後数十年は続く。したがって、推論の割り当てには制限があり、効率的な利用が必要だ。

次の科学的ブレイクスルー

Gary Tan：小型モデルはますます賢くなっている。生物やバイオテクノロジーの創業者も多くいる。AlphaFold 3 はすでにタンパク質を超え、より広範な生体分子に拡大している。完全な細胞システムのモデリングにはどれくらい近づいている？これは全く異なる難易度の問題なのか？

Demis Hassabis：Isomorphic Labs の進展は非常に良い。AlphaFold は医薬品発見の一段階に過ぎない。私たちは、相応の化学研究や、適切な性質を持つ化合物の設計に取り組んでおり、間もなく重要な発表ができる見込みだ。

最終的な目標は、完全な仮想細胞を作ることだ。全機能を持つ細胞のシミュレーターで、外部からの操作も可能なもの。これにより、多くの検索ステップを省き、合成データを大量に生成して他のモデルを訓練し、実細胞の挙動を予測できる。

完全な仮想細胞の実現にはあと10年ほどかかると見ている。私たちはまず細胞核から取り組んでいる。細胞核は比較的自己完結的なシステムだからだ。重要なのは、複雑さの適度な断片を切り出し、それが自己包含的で、入力と出力を合理的に近似できるかどうかだ。細胞核はこの観点から理想的だ。

もう一つの課題はデータ不足だ。電子顕微鏡や他のイメージング技術のトップ研究者と話したが、細胞を殺さずに生きたまま観察できる技術があれば革命的だ。そうすれば、視覚的な問題に変換できる。視覚の解決法はすでにわかっている。

しかし、ナノメートル解像度で生きた細胞の動的イメージングは、現状ではまだ実現していない。静止画像は非常に高精細だが、それをそのまま視覚問題に落とし込むには不足だ。

二つの道がある。一つはハードウェアとデータ駆動のアプローチ。もう一つは、より良い学習可能なシミュレーターを構築し、動的システムを模倣することだ。

Gary Tan：生物だけでなく、材料科学、医薬品発見、気候モデル、数学など、未来五年で最も大きく変わる科学分野はどれか？

Demis Hassabis：どの分野も魅力的だ。これが私の最大の情熱の源であり、30年以上 AI に取り組む理由だ。AI は究極の科学ツールになると信じている。科学理解や発見、医学、宇宙の認識を推進するために。

最初の使命表現は二段階だった。第一に、知能を解決し、AGI を構築すること。第二に、それを使ってすべての問題を解決すること。しかし、「すべての問題を解決」と言うと誤解を招くため、表現を調整した。

今や、その意味を理解し始めている。具体的には、「根幹問題」と呼ぶ科学分野の解決だ。これらを突破すれば、新たな発見の枝が解き放たれる。AlphaFold はその原型だ。

世界中の研究者300万人以上が、ほぼすべての生物学研究者が AlphaFold を使っている。製薬会社の幹部も、今後ほぼすべての薬物発見に AlphaFold が関わると聞いている。これに誇りを感じているし、AI がもたらす影響の一端だと考えている。でも、これは始まりに過ぎない。

どの科学や工学の分野も、AI の助けなしには進まないと思う。あなたが挙げた分野は、「AlphaFold 1」の時点からかなり進展している。大きな課題はまだ残っているが、今後2年で材料科学から数学まで多くの進展が見込める。

Gary Tan：まるでプロメテウスの神話のように、人類に新たな能力をもたらす。

Demis Hassabis：その通り。もちろん、プロメテウスの物語の教訓のように、その能力の使い方や濫用のリスクには注意が必要だ。

成功の経験

Gary Tan：多くの人がAIを科学に応用したスタートアップを目指している。あなたの見解では、最先端を推進する本物のスタートアップと、基礎モデルにAPIを重ねて「AI for Science」と謳うだけの会社の違いは何か？

Demis Hassabis：もし今、あなたがY Combinatorの立場だったら、どうするか想像してみる。一つはAIの未来を予測し、それと深層技術の他の分野とを結びつけることだ。材料、医療、原子レベルの科学など、困難な