DeepMind創始者インタビュー：AGIアーキテクチャ、エージェントの現状と次の十年の科学的ブレイクスルー

原视频タイトル：Demis Hassabis: Agents, AGI & The Next Big Scientific Breakthrough

原视频来源：Y Combinator
原文編訳：深潮 TechFlow

編集導語

Google DeepMind CEO、ノーベル化学賞受賞者 Demis Hassabis が Y Combinator にゲスト出演し、AGI への重要な進展、起業家へのリードを保つためのアドバイス、次の大きな科学的ブレイクスルーがどこに現れるかについて語った。

深層技術の起業者にとって最も実用的な判断は、もしあなたが今日10年規模の深層技術プロジェクトを始めるなら、AGI の出現を計画に組み込む必要があるということだ。さらに、DeepMind から分離した AI 製薬会社 Isomorphic Labs から間もなく重要な発表があることも明かした。

精選名言

AGI のロードマップとタイムライン

·「既存のこれらの技術コンポーネントはほぼ確実に最終的な AGI アーキテクチャの一部になるだろう。」

·「継続学習、長期推論、記憶のいくつかの側面の問題はまだ解決されていない。AGI にはすべてを解決する必要がある。」

·「もしあなたの AGI のタイムラインが私と同じく2030年頃だとしたら、今日深層技術のプロジェクトを始めたなら、その途中で AGI が出現することを考慮しなければならない。」

記憶とコンテキストウィンドウ

·「コンテキストウィンドウはおおよそ作業記憶に相当する。人間の作業記憶は平均7つの数字程度だが、我々は百万、さらには千万トークンのコンテキストウィンドウを持つことができる。しかし問題は、重要でない情報や誤った情報もすべて詰め込み、現在のやり方はかなり粗雑だということだ。」

·「リアルタイムの動画ストリームを処理し、すべてのトークンを保存しようとすると、100万トークンは実質約20分分しか持たない。」

推論の欠陥

·「私は Gemini で将棋を指すのが好きだ。時にはこれはひどい手だと気づくが、より良い手が見つからず、結局ぐるぐる回ってそのひどい手を指すこともある。でも、正確な推論システムならこういうことは起きるべきではない。」

·「一方で IMO の金メダル級の問題を解ける一方、質問の仕方を変えると小学生の算数の誤りを犯す。自己の思考過程の内省において、何かが欠けているようだ。」

エージェントと創造性

·「AGI に到達するには、自ら問題を解決できる能動的なシステムが必要だ。エージェントはその道筋だと考えている。私たちはまだ始まったばかりだ。」

·「Vibe coding を使ってトップクラスのアプリストアランキングに登る3Aゲームを作った人は見たことがない。現状の投入資源を考えれば可能だと思うが、まだ実現していない。ツールやプロセスに何かが欠けているのだろう。」

蒸留と小型モデル

·「我々の仮説は、最先端の Pro モデルを半年から一年後にリリースすれば、その能力を非常に小さなモデルに圧縮でき、エッジデバイス上で動かせるようになるというものだ。理論的な情報密度の限界にはまだ到達していない。」

科学発見と「アインシュタインテスト」

·「時々これを「アインシュタインテスト」と呼ぶ。1901年の知識だけでシステムを訓練し、アインシュタインが1905年に成し遂げた狭義相対性理論を含む成果を独立して推論できるかどうかだ。これができれば、そのシステムは新しい発明に近づいている。」

·「ミレニアム賞の問題を解くのは素晴らしいことだが、それ以上に難しいのは、新たなミレニアム賞の問題を提起し、それがトップ数学者にとっても深遠で一生をかけて研究する価値があると認められることだ。」

深層技術の起業アドバイス

·「難問を追うのと簡単な問題を追うのは、実はほとんど同じだ。ただし、その難しさのアプローチが異なるだけだ。人生は短い。やらなければ誰もやらないことにエネルギーを注ぐのが良い。」

AGI 実現への道筋

Gary Tan：あなたは AGI についてほぼ全員より長く考えている。現在のパラダイムを見ると、私たちは最終的な AGI アーキテクチャをどれだけ持っていると思う？根本的に欠けているものは何？

Demis Hassabis：大規模事前学習、RLHF、思考の連鎖（思考链）などは、最終的な AGI の一部になると確信している。これらの技術は今日まで多くのことを証明してきた。2年後にこれらが行き詰まるとは想像できないし、そうは思えない。ただし、既存のものの上に、あと1、2の要素が必要だと感じている。継続学習（continual learning）、長期推論（long-term reasoning）、記憶の一部の側面には未解決の問題が残っている。

AGI にはすべてを解決する必要がある。既存技術と漸進的な革新を組み合わせれば到達できるかもしれないが、もしかしたらあと1、2の大きな突破口が必要かもしれない。私はその可能性は五分五分だと考えている。Google DeepMind では両方のラインを進めている。

Gary Tan：私も Agent システムに関わる者として最も驚いたのは、基盤となる重みが底層で何度も繰り返されていることだ。継続学習の概念は非常に面白い。今はまさに、テープで一時的に貼り付けているような状態だ。例えば「夜間夢境サイクル」など。

Demis Hassabis：そうだね、その夢境サイクルは面白い。私たちは過去にシナリオ記憶の統合についても考えてきた。私の博士研究は海馬が新しい知識を既存の知識体系に優雅に融合させる仕組みだった。脳はこの点で非常に優れている。

睡眠中にこのプロセスを完了させる。特にレム睡眠（REM sleep）中に重要な経験を再生し、学習に役立てる。最初の Atari プログラム DQN（DeepMind が2013年に発表した深層Qネットワーク、深層強化学習を用いて Atari ゲームで人間レベルを達成）は、経験の再生（experience replay）を用いて Atari ゲームを習得した。これは神経科学から学んだもので、成功した経路を繰り返し再生する手法だ。2013年の話で、AI の古典的な時代だが、非常に重要だった。

同意する。今は確かにテープで貼り付けている状態だ。すべてをコンテキストウィンドウに詰め込む。これはあまり良くない。生物の脳ではなく機械だとしても、理論上百万、千万のコンテキストウィンドウは可能だし、記憶も完璧にできるだろうが、検索や取り出しのコストは依然として存在する。今の決定を下す瞬間に、真に関連する情報を見つけ出すのは簡単ではない。すべてを保存できても、だ。だから記憶の分野にはまだ大きな革新の余地があると感じている。

Gary Tan：正直、百万トークンのコンテキストウィンドウは私の予想よりもずっと大きく、多くのことができそうだ。

Demis Hassabis：多くの場面では十分だと思う。でも、コンテキストウィンドウは作業記憶にほぼ等しい。人間の作業記憶は平均7つの数字程度だが、我々は百万、さらには千万トークンのコンテキストウィンドウを持てる。問題は、何でも詰め込みすぎていることだ。重要でない情報や誤情報も含めてだ。今のやり方はかなり粗雑だ。リアルタイムの動画ストリームを処理し、すべてのトークンを記録しようとすると、100万トークンは実質約20分分しか持たない。だが、1〜2ヶ月の生活状況を理解させたいなら、まだ遠い。

Gary Tan：DeepMind は長年、強化学習と探索に深く投資してきた。この哲学は、今あなたたちが Gemini を構築する過程にどれだけ深く浸透している？強化学習はまだ過小評価されているのか？

Demis Hassabis：確かに過小評価されているかもしれない。関心は波がある。私たちは DeepMind 創立当初からエージェントシステムに取り組んできた。すべての Atari や AlphaGo の研究は本質的に強化学習エージェントに属し、自律的に目標を達成し、意思決定や計画を行うシステムだ。もちろん、当時はゲームの分野を選んだ。複雑さが制御できる範囲だったからだ。その後、AlphaGo の後に AlphaStar も作った。ほぼすべてのゲームをやり尽くしたと言える。

次の課題は、これらのモデルを世界モデルや言語モデルに一般化できるかどうかだ。過去数年、私たちはその研究を続けている。今日の最先端モデルの思考パターンや思考連鎖推論は、基本的に AlphaGo が切り開いた道の再帰だ。

私たちが当時やった多くの研究は、今と非常に関係が深い。より大きなスケール、より汎用的なアプローチで、モンテカルロ木探索（Monte Carlo tree search）などの強化学習手法を再検討している。AlphaGo や AlphaZero の思想は、今の基盤モデルと非常に密接に関係している。今後数年の進歩の多くはそこから来ると考えている。

蒸留と小型モデル

Gary Tan：今やより賢くなるにはより大きなモデルが必要だが、同時に蒸留技術も進歩している。小型モデルはかなり高速化できる。あなたたちの Flash モデルは非常に強力で、最先端モデルの95%の性能をほぼ実現しつつ、コストは10分の1だよね？

Demis Hassabis：それは我々の大きな強みの一つだと思う。まず最大のモデルを作り、その能力を得る。次に、それらの能力を素早く蒸留・圧縮して、より小さなモデルに落とし込む。蒸留は我々が発明した手法で、今も世界トップクラスだ。しかも、ビジネスの動機も強い。私たちは世界最大の AI 応用プラットフォームの一つだ。

AI Overviews や AI Mode、そして Gemini を持ち、Google のすべての製品（マップ、YouTube など）に統合している。これには数十億のユーザーと、十数の十億規模のサービスが関わる。これらは超高速、超効率的、コストも低く、遅延も最小限に抑える必要がある。だからこそ、Flash や小型の Flash-Lite モデルを極限まで効率化したい。最終的にはこれがユーザーの多様なニーズに応えることにつながると信じている。

Gary Tan：これらの小型モデルはどれほど賢くなるのか興味深い。蒸留には限界があるのか？50Bや400Bのモデルは、今日の最先端モデルと同じくらい賢くなれるのか？

Demis Hassabis：情報理論上の限界にはまだ到達していないと思う。少なくとも今のところ、到達したという証拠はない。もしかしたら、いずれかの時点で情報密度の天井にぶつかるかもしれないが、今の仮説は、最先端の Pro モデルがリリースされた半年から一年以内に、その能力を非常に小さなモデルに圧縮できるというものだ。

Gemma モデルでもそれは見て取れる。Gemma 4 は同じ規模で非常に高性能だ。これらは大量の蒸留技術と小型モデルの効率化技術を駆使している。だから、理論的な限界はまだ見えていないし、我々はその遠い先にいるとも思っていない。

Gary Tan：今や、エンジニアが6ヶ月前の500倍から1000倍の作業量をこなせるという、非常に驚くべき現象が起きている。ここにいる人の中には、2000年代のGoogleエンジニアの1000倍の仕事をしている人もいると聞く。

Demis Hassabis：それは非常にエキサイティングだ。小型モデルには多くの用途がある。コストが低く、速度も速い。コードを書いたり他のタスクをこなす際に、より早く反復できる。システムと協働する場合、たとえ最先端でなくても、90〜95%の性能でも十分だし、その分速さを上げることで得られる価値はその10倍以上だ。

もう一つの大きな方向性は、これらのモデルをエッジデバイスに展開することだ。効率化だけでなく、プライバシーやセキュリティの観点からも重要だ。家庭用ロボットや個人情報を扱うデバイスにおいて、ローカルで高性能なモデルを動かし、必要に応じてクラウドの大規模モデルにタスクを委ねる。音声や映像もローカル処理し、データもローカルに留める。これが究極の状態になると想像できる。

記憶と推論

Gary Tan：コンテキストと記憶に戻る。今のモデルは無状態だが、継続学習が可能になったら、開発者の体験はどう変わる？こうしたモデルをどう導く？

Demis Hassabis：非常に面白い質問だ。継続学習の欠如は、現行のエージェントが完全なタスクをこなせない大きな壁だ。今のエージェントは局所的な部分には有効だが、環境に適応できない。これが「発射後も放置」できない理由だ。具体的なシナリオに適応し、学習できる必要がある。これを解決しないと、真の汎用知能には到達できない。

Gary Tan：推論の進展はどこまで？思考連鎖は強力だが、いくつかの基本的なミスを犯すこともある。何を改善すれば良い？推論の未来はどうなる？

Demis Hassabis：思考のパラダイムにはまだ大きな革新の余地がある。今やっていることはかなり粗雑で、暴力的なアプローチだ。改善点は多い。例えば、思考過程を監視し、途中で介入できる仕組みだ。私たちのシステムも競合のシステムも、過度に考えすぎてループに陥ることがある。

Gemini での対局を観察するのが好きだ。すべての先端モデルは将棋に関してはかなり弱い。これは面白い現象だ。

彼らの思考軌跡を見るのは価値がある。将棋は理解された分野だからだ。偏りや誤りをすぐに見抜ける。時には一手を考え、「これはひどい手だ」と気づくが、より良い手が見つからず、結局そのひどい手を指す。正確な推論システムならこういうことは起きるべきではない。

このギャップは依然として存在するが、修正は一、二の調整だけで済むかもしれない。いわゆる「ギザギザ知能」（jagged intelligence）と呼ばれる現象だ。ある面では IMO の金メダル級の問題を解き、質問の仕方を変えると小学生の算数の誤りを犯す。自己の思考過程の内省において、何かが欠けている。

エージェントの真の能力

Gary Tan：エージェントは大きなテーマだ。誇張だという意見もある。私はまだ始まったばかりだと思う。DeepMind のエージェント能力に関する実態と、外部の宣伝とのギャップはどれくらいだ？

Demis Hassabis：同意する。私たちは本当に始まったばかりだ。AGI に到達するには、自ら問題を解決できる能動的なシステムが必要だ。これはずっと明確だった。エージェントはその道だと考えている。私たちはまだ始まったばかりだ。

皆、エージェントをより良く仕事に組み込む方法を模索している。個人の実験も多い。どうやってエージェントをワークフローに融合させ、単なる付加価値ではなく根本的なことをさせるか。今はまだ実験段階だ。ほんの最近2〜3ヶ月で、非常に価値のあるシナリオを見つけ始めたところだ。技術もやっとその段階に達した。おもちゃのデモから、実際に時間と効率を向上させるものへ。

何十のエージェントを起動し、何十時間も動かすのを見かけるが、その投入に見合う成果が出ているかはまだ確信が持てない。

Vibe coding を使ってトップクラスの3Aゲームを作った例も見ていない。私も少し作ったことがあるし、多くの人も良いミニデモを作っている。今なら30分で『Theme Park』のプロトタイプを作れる。17歳の時は半年かかった。

夏休み一つ丸ごと使えば、驚くべきものができる気がする。ただし、工芸や人間の魂、品位も必要だ。これらを製品に取り入れることが重要だ。実際、今のツールで1千万本売れるゲームを作った子供はいないが、現状の投入資源なら可能だと思う。何かが足りないのだろう。プロセスやツールに関係しているかもしれない。今後6〜12ヶ月でそうした成果を見ることになると予想している。

Gary Tan：それはどの程度完全自動化されるのか？最初から全自動は考えにくい。まずは効率を1000倍にすることが先で、その後にこれらのツールを使ったヒット作やゲームが出てきて、次第に多くの工程が自動化されていくのでは？

Demis Hassabis：その通りだ。まずはそれを見たい。

Gary Tan：また、一部の人はすでにそうしているが、エージェントの貢献度を公にしたくないのかもしれない。

Demis Hassabis：そうかもしれない。でも、創造性の話もしたい。AlphaGo の例をよく挙げる。第2局の37手目だ。あの瞬間を待っていた。あれが出たことで、私は科学プロジェクト、例えば AlphaFold を始めた。韓国から帰国した翌日に AlphaFold に取りかかったのは10年前のことだ。今回韓国に行ったのも、AlphaGo の10周年を祝うためだ。

ただ、Move 37 を超えるだけでは不十分だ。それはクールで役に立つが、そのシステムが囲碁そのものを発明できるかどうかだ。例えば、「5分でルールを学び、一生かかっても極められないほど美しいゲーム、1日で一局打てる」と高層の説明を与えたとき、その結果が囲碁だったらどうか。今のシステムはそれをできない。なぜだと思う？

Gary Tan：座っている人の中には、それを実現できる人もいるかもしれない。

Demis Hassabis：もしそれを実現できたら、答えはシステムの欠点ではなく、我々の使い方に問題があるということだ。もしかしたら、今のシステムにはその能力がすでに備わっているのかもしれない。ただ、それを引き出す天才的なクリエイターが必要で、その人がプロジェクトに魂を吹き込み、ツールと高度に融合している必要がある。日夜これらのツールに浸り、深い創造力を持てば、想像を超えるものが作れるかもしれない。

オープンソースとマルチモーダルモデル

Gary Tan：話題を変えてオープンソースについて。最近 Gemma のリリースにより、非常に強力なモデルをローカルで動かせるようになった。どう思う？AIはユーザー自身の手に渡るものになり、クラウドに残るのではなくなるのか？これが製品構築の誰にとっても変化をもたらすのか？

Demis Hassabis：我々はオープンソースとオープンサイエンスの強力な支持者だ。AlphaFold は完全に無料で公開した。科学的な研究成果も今なおトップジャーナルに発表している。Gemma については、同等の規模で世界をリードするモデルを作ることを目指している。現在のダウンロード数は約4000万回で、リリースからわずか2週間半だ。

また、西洋の技術スタックの存在も重要だと考えている。中国のオープンソースモデルは非常に優秀で、今やオープンソースのリーダーだが、我々は Gemma が同規模で非常に競争力があると考えている。

資源の問題もある。誰も余分な計算資源を持っていないため、2つのフルサイズ最先端モデルを同時に作ることは難しい。だから、現状の決定は、エッジモデルを Android や眼鏡、ロボットなどに使い、オープンモデルとして展開することだ。デバイスに展開すれば、公開されている状態になるため、完全にオープンにした方が良いと判断している。戦略的にも合理的だ。

Gary Tan：あなたが見せてくれた AI オペレーティングシステムは、音声だけで Gemini と対話できるものだった。ツール呼び出しや深いコンテキスト理解も含め、今のモデルと比べて圧倒的だ。

Demis Hassabis：そうだ。Gemini シリーズの大きな強みの一つは、最初からマルチモーダルに設計されていることだ。これにより、スタート段階での難易度はテキストだけより高いが、長期的には大きな恩恵をもたらすと信じている。すでにその恩恵は実現しつつある。

例えば、世界モデルの構築では、Gemini 上に Genie（DeepMind が開発した生成的インタラクション環境モデル）を構築している。ロボット分野も同様だ。Gemini Robotics はマルチモーダル基盤モデルを土台にしており、これが競争優位の一つになる。Waymo（Alphabet の自動運転子会社）でも Gemini をますます多用している。

想像してほしい。あなたの周囲の物理世界や環境を理解できるデジタルアシスタントだ。スマホや眼鏡に搭載され、あなたの周囲の状況を理解し、リアルな世界と連携する。これが我々のシステムの強みだ。今後もこの方向に投資を続ける。こうした問題でのリードは大きいと考えている。

Gary Tan：推論コストは急速に下がっている。推論がほぼ無料になったとき、何が可能になる？あなたたちの最適化の方向性は変わる？

Demis Hassabis：推論が本当に無料になるかはわからない。ジェヴォンズの逆説（Jevons’ Paradox、効率化が逆に総消費を増やす現象）もある。最終的には、誰もが持てる計算資源を使い切るだろう。

何百万ものエージェントが協調して働いたり、複数のエージェントが異なる方向から同時に考え、統合したりする未来も想像できる。これらの実験はすでに始まっている。推論資源はそれだけ消費される。

エネルギー面では、核融合や常温超伝導、最適電池などの技術を解決すれば、材料科学の進歩によりエネルギーコストはほぼゼロに近づく。ただし、チップの物理的製造などには依然として制約があり、少なくとも今後数十年は続く。したがって、推論の割り当ては制限され続け、高効率な利用が求められる。

次の科学的ブレイクスルー

Gary Tan：小型モデルはますます賢くなっている。バイオやバイオテクノロジーの創業者も多い。AlphaFold 3 はすでにタンパク質を超え、より広範な生物分子に拡大している。完全な細胞システムのモデリングにはどれくらいかかる？これは全く別の難易度の問題なのか？

Demis Hassabis：Isomorphic Labs の進展は非常に良い。AlphaFold は医薬品発見の一段階に過ぎない。私たちは隣接する生化学研究、適切な性質を持つ化合物の設計なども進めており、間もなく重要な発表ができる。

最終的な目標は、完全な仮想細胞を作ることだ。干渉可能な全機能の細胞シミュレーターであり、その出力は実験結果に十分近く、実用的な価値も持つ。大量の探索ステップを省き、合成データを生成して他のモデルの訓練に使い、実細胞の挙動を予測させる。

完全な仮想細胞の実現にはあと10年ほどかかると見ている。私たちはまず細胞核から取り組んでいる。細胞核は比較的自己完結的なシステムだからだ。この問題の鍵は、複雑さの適度な断片を切り出し、それが自己包含的で、入力と出力を合理的に近似できるかどうかだ。細胞核はその点で適している。

もう一つの課題はデータ不足だ。電子顕微鏡や他のイメージング技術のトップ科学者と話したことがある。細胞を殺さずに生きたまま観察できれば革命的だ。視覚的な問題に変換できるからだ。視覚の解決策はすでにある。

しかし、ナノレベルの解像度で生きた動的細胞を非破壊で観察できる技術はまだない。静止画像は非常に高精細だが、それを直接視覚問題に落とし込むには不足している。

二つの道がある。一つはハードウェアやデータ駆動型のアプローチ。もう一つは、より良い学習可能なシミュレータを構築し、動力学系を模倣することだ。

Gary Tan：生物だけでなく、材料科学、医薬品発見、気候モデリング、数学も含めて、今後五年で最も根本的に変わる科学分野はどれか？

Demis Hassabis：どの分野も魅力的だ。これが私の最大の情熱の源であり、30年以上 AI に携わってきた理由だ。AI は究極の科学ツールになると信じている。科学理解や発見、医学、宇宙の理解を推進するために。

最初のミッションは二段階だ。第一に、知能を解決し、AGI を構築すること。第二に、それを使って他のすべての問題を解決することだ。後に表現を変えざるを得なかったのは、「すべての問題を解決する」と本気で言っているからだ。

私たちの狙いは、「根幹問題」と呼ぶ科学分野を解き明かすことだ。これらの突破は新たな発見の枝を解き放つ。AlphaFold はその原型だ。

世界中の研究者の三百万人以上が、ほぼすべての生物学研究者が AlphaFold を使っている。製薬会社の幹部も、今後ほぼすべての薬物発見の段階で AlphaFold が使われると聞いている。これに誇りを感じているし、AI の影響力の一端だと考えている。でも、これは始まりに過ぎない。

どの科学や工学の分野も、AI の助けなしには進まないと思う。あなたが挙げた分野は、「AlphaFold 1」の時点に似ている。結果はかなり有望だが、まだ大きな壁は越えていない。今後2年で、材料科学から数学まで、多くの進展が見込まれる。

Gary Tan：まるでプロメテウスの神話のように、人類に新たな能力をもたらす。

Demis Hassabis：その通りだ。ただし、プロメテウスの物語の教訓のように、その能力の使い方や濫用のリスクには注意が必要だ。

成功の経験

Gary Tan：多くの人がAIを科学に応用した企業を始めようとしている。あなたの見解では、最先端を推進するスタートアップと、基盤モデルにAPIを重ねて「AI for Science」と称する企業の違いは何か？

Demis Hassabis：もし今、あなたがY Combinatorの立場だったらどうするか想像してみる。一つは、AIの未来を予測し、それを他の深層技術と結びつけることだ。材料、医学、原子レベルの科学など、困難な分野では、近い将来に突破口は見えにくい。次の大きな進展は、次回のモデルアップデートだけでは起きない。防御的な戦略を考えるなら、それが良い選択だ。

私は深層技術に常に惹かれてきた。持続的に価値を生むものは容易ではない。2010年に始めたとき、AI