彼は2024年4月にOpenAIを解雇され、6月にこの本『Situational Awareness』を書きました。これは本質的に資金調達のためのドキュメントです。9月には自身のヘッジファンドを立ち上げました。このファンドは1年で規模が2億ドル超から55億ドルに増え、ちょうど24倍です。2025年前半の純リターンは47％。
読み進めるうちに、彼は何を根拠にそう言えるのかと考え始めました。22歳の若者が、2024年に今日の世界を書き表せるのはなぜか。
未来を見ることができるのは、彼が未来が作られつつあるその部屋に立っているからです。彼はサンフランシスコのサークル、OpenAIのSuperalignmentチームにいて、直接最高科学者のIlya Sutskeverの下で働いています。この本は、彼からIlyaへの献辞です。
彼が2年前に書いた一言一言が、今振り返るとほぼすべて実現しています。
彼は言います、AIの短期的な最も不足しているものはアルゴリズムではなく、計算能力、HBMメモリ、データセンター、電力だと。
彼はまた、真のボトルネックはCoWoSの先進パッケージングに隠れていると述べています。
アメリカの電力網は、最初にすべての人を詰まらせる関所になるだろうとも。
そして、「兆ドル規模のクラスター」が出現すると言います。後にこれらの見解はすべてヘッドラインになりました。
OpenAIはそのクラスターをStargateと名付けました。
しかし、これらはまだ前菜に過ぎません。彼は本の中でこう書いています、
2027年にAGI（汎用人工知能）が到来する。
その論理はこうです。過去4年間、AIは「幼稚園児」GPT-2から、「賢い高校生」GPT-4へと成長しました。あと4年で、AIは人間の研究者に代わり、自らAIを訓練できるようになると彼は言います。
一度AIが自分でAIを研究できるようになれば、人類の10年分のアルゴリズムの進化を、1年で終わらせることができる。「知能爆発」はその瞬間から始まるのです。
その時、人類はAIが何をしているのか理解できなくなるでしょう。彼らが書くコード、下す決定。私たちはどうやって、それが私たちを騙していないと確信できるのでしょうか？
Leopoldは本の中で、三つの処方箋を提案しています。
一、弱い監督を強化せよ。能力の低いが人間にも理解できるAIを使い、遥かに強力なAIを監督させる。賭けは、弱い方が悪意を見破れるかどうかです。Leopold自身もこの論文の共同著者です。
二、AI同士の討論をさせる。複数のAIに対して質疑応答をさせ、誤りを指摘し合い、真実を暴き出す。人間は静かな裁判官として、彼らの不一致を利用して嘘つきを見つけるのです。
三、機械的な説明性。訓練時に危険なパラメータを取り除き、その後AIの頭の中を直接覗き込み、何を考えているのかを見る。これを「AIの嘘つき検査」とし、内心の「真理の方向」を見つける。Leopold自身も言いますが、これはムーンショット級の難題です。
ここまで読んで、彼がなぜオッペンハイマーの写真を結びに使ったのか理解しました。彼はこれを新たなマンハッタン計画のように書いているのです。
彼自身も認めていますが、この三つの道は本質的に「なんとかやり過ごす」ためのものであり、根本的な解決策ではありません。問題は、AIの整合性の難題を、最終的にはAIに外注して解決させる日まで人類が持ちこたえられるかどうかです。
今私たちがやっていることは、「AIの安全性を解決した」わけではなく、「AIにAIの安全性を解決させたい」と願っているのです。
聞こえはちょっと、怪しい恋愛の話みたいですね。
どこかがおかしいと知りつつも、彼が変わることを賭けている。
投資に戻ります。この本の最も価値のある部分は、実は「2027年のAGI」という具体的な年次ではありません。誤差範囲は大きく、遅れることも早まることもあります。
最も価値があるのは、AI産業の十年のボトルネック層級を、はっきりと語り尽くしている点です。
電力 > 先進封装 / HBM > 計算能力 > アルゴリズム > 応用。
上に行くほど希少で、下に行くほど混雑しています。
Leopold自身も、真剣に資金を投入し、市場でそれを検証しました。
本を閉じる瞬間、私は思いました。
早く読むべき本もあれば、遅れて読むことで命運が変わる本もある。
幸い、今はまだ遅くはない。
「砂漠で会おう、友よ。」

原文表示