ちょうどDemis HassabisとのYコンビネーターのポッドキャストを聞いたところで、正直、彼のAGIに関する見解や現在のモデルに何が本当に欠けているのかについての意見は、かなり響くものがあった。彼はほとんど誰よりも長くこのことについて考えてきているし、驚くべきは彼の視点が非常に地に足がついていることだ—誇大広告ではなく、実用的な評価だ。

だから、僕にとって印象的だったのはこれだ：私たちはすでにほとんどの要素を持っている。大規模な事前学習、RLHF、思考の連鎖—これらはほぼ確実に最終的なAGIアーキテクチャの一部になるだろう。でも、残っているのはおそらく一つか二つの重要なギャップだけだ。継続学習、長期的推論、すべてをコンテキストウィンドウに詰め込むだけではない記憶システム。彼の見解は？ 2030年頃にAGIが実現すると。そして正直、それは今日何を作るべきかの考え方を変える。

本当に心に残ったのは、彼の推論の現状に関する観察だ。モデルはIMOの金メダル級の問題は解けるが、表現の仕方次第で基本的な数学に失敗することもある。これはギザギザした知性の問題だ—システムは自分の思考過程についての内省的な何かを欠いている。まるでGeminiがチェスをしていて、悪い手だと気づきながらも、それを打つしかない状態のようだ。より良い選択肢を推論できないからだ。これは正確な推論システムでは起きてはいけないことだ。

エージェントについては、彼は明確に言う：私たちは始まったばかりだと。みんなエージェントに夢中だが、真の課題はそれらを本当に役立つものにすることだ、ただのデモではなく。彼は面白いことを言っていた—AIコーディングを使ったトップチャートのAAAゲームはまだ作られていないと。理論的には可能だが、何かがまだプロセスやツール自体に欠けている。彼はその変化が6〜12ヶ月以内に起きると予想している。

蒸留の観点も面白い。彼らの仮説は、最先端のモデルをリリースしてから6〜12ヶ月以内に、その能力をエッジデバイスで動かせるものに圧縮できるというものだ。フラッシュモデルが最先端の性能の95%を、コストの10分の1で実現する。しかも、理論的な情報密度の限界にはまだ到達していない。これは、小さなモデルで可能になることにとって非常に大きい。

科学的ブレークスルーの側面では、「アインシュタインテスト」と呼ばれるものについて話していた。1901年までの知識を持つシステムを訓練して、それが独立して特殊相対性理論を導き出せるか？ これができれば、そのシステムは単なるパターンマッチングではなく、実際の発明に近づく。AlphaFoldはそのプロトタイプだった—今や医薬品開発の標準だ。でも、多くの分野ではまだ初期段階だ。

Yコンビネーターの創業者向けのアドバイスも鋭い：あなたにしか解けない問題を追求せよ。今日深層技術のプロジェクトを始めるなら、AGIを計画に組み込む必要がある。10年のプロジェクトなら、途中でAGIに到達するかもしれない。陳腐化するものを作るな、価値が持続するものを作れ。AlphaFoldのような特殊システムが、一般目的のモデルとツールとしてどう統合されるかを考えろ。すべてを一つの巨大なモデルに詰め込むのではなく。

最後に響いたのは、彼がAIによって学際的な作業がより容易になると話していたことだ。そして、すべてを一つの統一された脳として考えるのをやめる必要があると。専門化されたツールは、一般システムと共存するだろう。これが、今日何かを作るときに考えるべきフレームワークだ。