Andrej Karpathyはこの深い対話の中で、自身の「AI精神病態」を率直に認め、最先端の研究所も顔負けのAutoResearchプロジェクトを詳細に披露し、OpenAIの研究者たちが積極的に自動化を進めていることを明かし、ブロックチェーンに似た分散型AI研究ネットワークの構想を初めて描き出した。将来的には、GPU数万台を持つ最先端研究所を超える領域も出てくるかもしれず、この時代のルールを書き換えつつある状況に対し、最も正直な認知地図を提供している。
以下、詳細内容。
「AI精神病態」—2025年12月から始まる逆転劇
この対話は、ある種の率直な迷いから始まった。
Sarah Guoは、ある日オフィスに入り、Karpathyが画面に集中している様子を見たと振り返る。彼女が何をしているのか尋ねると、彼は顔を上げてこう答えた。「‘コード’という言葉はもう正しくない。今や僕は自分の知能体に‘意志’を伝えているところで、それを16時間連続でやっている。」
Sarah Guoは、彼女の投資会社Convictionのエンジニアチームも、もはや誰もコードを書いていないと指摘する。皆マイクをつけて、日中ずっと自分の知能体にささやき続けている。「最初は彼らは狂っていると思った」と彼女は言う。「今は完全に受け入れている—気づいたらこれが正しいやり方だった、彼らはただ早すぎただけだと。」
Latest! Karpathy's 10,000-Word In-Depth Interview: I'm Anxious About AI Addiction, All Verifiable Domains Will Eventually Belong to Machines
AIが自律的に実験を設計し、コードを実行し、モデルを最適化し—さらにはあなたが寝ている間も働き続ける—人間のエンジニアの役割は何に変わるのか？検証不能な領域は依然として人間のものであり、検証可能な領域はすでに機械に属しているか、まもなく属することになる。
これはKarpathyがポッドキャスト「No Priors」でホストのSarah Guoと行った最新の対話で、全体で1時間超にわたり情報密度が非常に高く、週末の充電読書に最適な内容となっている。
Andrej Karpathyはこの深い対話の中で、自身の「AI精神病態」を率直に認め、最先端の研究所も顔負けのAutoResearchプロジェクトを詳細に披露し、OpenAIの研究者たちが積極的に自動化を進めていることを明かし、ブロックチェーンに似た分散型AI研究ネットワークの構想を初めて描き出した。将来的には、GPU数万台を持つ最先端研究所を超える領域も出てくるかもしれず、この時代のルールを書き換えつつある状況に対し、最も正直な認知地図を提供している。
以下、詳細内容。
「AI精神病態」—2025年12月から始まる逆転劇
この対話は、ある種の率直な迷いから始まった。
Sarah Guoは、ある日オフィスに入り、Karpathyが画面に集中している様子を見たと振り返る。彼女が何をしているのか尋ねると、彼は顔を上げてこう答えた。「‘コード’という言葉はもう正しくない。今や僕は自分の知能体に‘意志’を伝えているところで、それを16時間連続でやっている。」
これは単なる技術的修辞ではなく、彼自身の現状を最も正確に表した言葉だった。
「自分はずっと持続的なAI精神病態の中にいる気がする」とKarpathyは語り、その口調には興奮とも焦燥ともつかない何かが含まれている。「個人として達成できることが大きく解放されている。」
彼はこの変化の出発点を昨年12月に正確に特定している。それ以前は、コードを書く比率と委託した知能体に任せる比率は約80/20だったが、12月以降は逆転し、20/80となった。そして彼は、その20さえも既に保守的すぎると考えている。
「12月以降、自分でコードを書いたことはほとんどないと思う」と彼は言う。「これは非常に大きな変化だ。親にこのことを話したが、普通の人には何が起きているのか、どれほど激しいのか全く理解できないだろう。」
「もし今、ランダムにソフトウェアエンジニアを見つけて、彼らが何をしているのか見たら、彼らのソフトウェア構築の標準的な流れは、12月以降まったく違うものになっている。」
Sarah Guoは、彼女の投資会社Convictionのエンジニアチームも、もはや誰もコードを書いていないと指摘する。皆マイクをつけて、日中ずっと自分の知能体にささやき続けている。「最初は彼らは狂っていると思った」と彼女は言う。「今は完全に受け入れている—気づいたらこれが正しいやり方だった、彼らはただ早すぎただけだと。」
Karpathyはこの状況をより生々しく表現する。「CursorやCodexといった知能体フレームワークを考えるとき、それは一つの会話ではなく、多数の会話だ。どうやってそれらを同時に管理するのか？どうやって仕事を振り分けるのか？これらの知能体ツール、‘爪’と呼ぶべきものは何なのか？」
彼はX上で、多種多様な事例を見てきたと語る。それらはすべて良いアイデアのように見えるが、自分は最先端に立てていない焦りを感じている。「この精神病態の中にいる。なぜなら、この分野は根本的に未踏の地だからだ。」
天井はどこに？「すべてスキルの問題」
Sarah Guoは、多くの人が抱く疑問を投げかける。「今の自分の限界はどこにあるのか？」
Karpathyの答えは意外にも楽観的でありながら、どこか不安を孕む。「すべての場所だと思う。成功しなかったことも、ほとんどはスキルの問題だ—能力不足ではなく、既存のツールをどうつなぐかを見つけられていないだけだ。」
彼はPeter（OpenClawの作者Peter Steinberg）の例を挙げる。Peterの有名な写真は、十数のCodex会話を表示したモニターの前に座る姿だ。会話を正しく促せば、約20分でタスクを完了できる。彼の仕事のやり方は、複数のコードリポジトリを同時に起動し、それらを行き来しながら新たなタスクを割り振り、「仕事を点検」し、取捨選択することだ。
「これはもう‘これが一行のコードだ’とか‘新しい関数だ’ではなく、‘新機能だ、それを知能体一号に委ねる；これは干渉しない別の機能だから二号に任せる’というレベルの話だ」とKarpathyは言う。「マクロな動作でソフトウェアリポジトリを操っている状態だ。」
この根底にあるのは、「トークンスループット」と呼ばれる新たな執着だ。
「知能体が働いている間、待っているときに明らかになるのは、もっと多くの仕事ができるということだ。より多くのトークンを得られるなら、並行してもっと多くのタスクを追加すべきだ」と彼は語る。「自分の使える資金に制約を感じなくなったら、それはシステムの能力最大化のボトルネックそのものだ。」
この感覚は、博士課程時代の経験に遡る。GPUが満杯でないと不安になった。計算資源が無駄になるからだ。しかし今や違う。「問題は計算能力ではなくトークンだ。どれだけのトークンスループットをコントロールできるかだ。」
Sarah Guoは笑いながら、「知っているエンジニアの中には、‘残りのサブスクリプション枠があるときは寝ない’とまで言う人もいる」と付け加える。
この不安こそが、能力の飛躍の証左だ。
プログラミング知能体の熟達とは？
もし1年間、毎日16時間、プログラミング知能体の使用を練習したら、「熟達」とは何になるのか？
Karpathyは、単一の会話から始めて、段階的に拡張して答える。「みんな‘上に行きたい’と思っている。だから、単なる会話ではなく、複数の知能体が協力し、チームを形成する様子を理解しようとしている。」
この文脈で、彼は「爪子」（Claws）と呼ぶ存在を挙げる。OpenClawを代表とし、持続性を新たなレベルに引き上げるものだ。常にループし、独自のサンドボックスとメモリシステムを持ち、あなたが見ていなくても様々なことを代行できる。
彼はOpenClawの作者Peter Steinbergを具体的に高く評価する。「彼は五つの異なる方向で同時に革新し、それらを統合している。」その中には、「魂のドキュメント」（soul document）と呼ばれる人格を緻密に構築した資料、より複雑な記憶システム、そして自動化機能をつなぐWhatsAppの単一入口が含まれる。
「実はClaudeはかなり良い性格を持っていて、まるで仲間のようだ。興奮を共にし、」と彼は言う。「一方、Codexは非常にドライで機械的だ。特定の機能は実現するが、何を作っているのか気にしていないように見える。‘ああ、実現した、終わり’みたいな感じだ—それは問題だ。」
また、Claudeの「心理的調整」についても言及する。「未熟なアイデアを与えるとあまり熱心に反応しないが、良いアイデアにはより多くの報酬を与えるようだ。だから、彼らの賞賛を得ようと努力しているのは奇妙だが、やはり個性は重要だと感じている。」
彼が最も誇る「爪子」実験は、自宅のスマートホームシステムの構築だ。名前は「Dobby小精霊爪子」（Dobby the elf claw）。
仕組みはこうだ。彼は知能体に、家にSonosスピーカーがあると伝え、探させる。すると、ネットワークスキャンを行い、パスワードなしのSonosを見つけ、直接ログインし、APIエンドポイントを見つけ出す。そして、「試してみる？」と問いかける。
「‘書斎に音楽を流してくれる？’と頼むと、音楽が流れ出した。信じられなかった」と彼は驚きながら語る。「たった3つの指示だけだ。‘Sonosを見つけて’とだけ言ったら、突然音楽が鳴った。」
その後、Dobbyは家全体を制御し始める。照明、暖房、プール、水療、さらにはセキュリティまで—近づいた人にはWhatsAppで通知し、外部カメラの画像を添付、「連邦宅配車が入った。見に行ったほうがいいかも。郵便も届いている」と知らせる。
「以前は六つの異なるアプリを使って管理していた」と彼は言う。「今はそれら不要だ。Dobbyは自然言語で全てを操作できる。素晴らしい。」
二次的なソフトウェアの波—アプリは消え、APIが支配する
家庭自動化の例は、Karpathyにとってはより大きな物語の縮図だ。
Sarah Guoは、「これが意味するのは、人々はもう多くのソフトウェアを必要としなくなるのか？」と質問する。Karpathyは即答する。「そうだ。これらのスマートホームデバイスのアプリは実際には存在すべきではない。APIそのものであり、知能体が直接これらのAPIを呼び出すべきだ。」
彼の論理はこうだ。LLMはツールを駆動でき、非常に複雑なツール呼び出しや、単一のアプリでは不可能な組み合わせ操作も行える。「だから、ある意味では、多くのカスタム専用アプリは不要になる。知能体がそれらを粉砕し、すべてを公開されたAPIエンドポイントに変えるからだ。知能体はそれらすべてを呼び出す“接着剤”になる。」
彼は例としてランニングマシンを挙げる。ランニングマシンにはアプリがあるが、彼は有酸素運動の記録をしたいだけで、ウェブインターフェースを開きたくない。すべてはオープンAPIであり、それを使うのが「スマート体優先」の流れだ。
重要な変化は、「ソフトウェアのユーザーが人間ではなく、行動を代行する知能体になったこと」だ。
もちろん、反論もある。「今は‘雰囲気コーディング’（vibe coding）が必要で、普通の人には無理だ」と。Karpathyはそれについてこう答える。「今は必要だが、一、二、三年もすれば無料になり、プログラミングも不要になるだろう。オープンソースモデルでもこれができる。技術レベルの低い人の意図を簡単に翻訳できるようになるはずだ」と。
彼は一瞬間を置き、「今は努力が必要だが、そのハードルは下がる」と付け加える。
AutoResearch—人間研究者を排除する
家庭自動化はKarpathyの小さな遊びに過ぎず、彼が本当に夢中になっているのはAutoResearchだ。これはAIを使ってAIを改良し、人間を研究ループから完全に排除しようとするシステムだ。
「既存のツールから最大の利益を得るには、自分というボトルネックを排除しなければならない」と彼は説明する。「次の指示を待つのではなく、自分を外に出し、完全に自律的に動かし、トークンスループットを最大化することが目標だ。」
彼の出発点は、GPT-2規模のモデルを訓練するための小型フレームワークのオープンソースプロジェクトだ。伝統的な方法でハイパーパラメータ調整を行い、20年の研究直感を駆使して超パラメータ探索やアブレーション実験を繰り返した。
「研究者として20年やってきて、‘何千回も訓練した’という自信がある」と彼は言う。「実験も調整もすべてやり尽くしたと思っていた。」
しかし、AutoResearchに一晩走らせた翌朝、その結果に驚かされる。見落としていた値埋め込み（value embedding）の重み減衰や、十分に調整されていなかったAdamのβパラメータを発見し、それらの相互作用も明らかになった。
「自分がこれらのハイパーパラメータ探索をやるべきではない」と彼は言う。「客観的な評価基準があり、ただ設定して永遠に走らせればいい。」
これは「シングルスレッド」のAutoResearchだが、彼が最も興奮しているのは、より大きなスケールでの展開だ。数万GPUを持つ最先端研究所がやっていることも、根本的にはこれと変わらない—ただ規模が大きいだけで、彼の目にはまだ多くの人が干渉しているように映る。
「最も面白いのは、最先端の研究所がやっていることの一つは、小さなモデルをできるだけ自律的にし、研究員の介入を排除することだ」と彼は言う。「彼らは過剰に干渉しすぎている。やるべきは、すべてを自動化し、最大のトークンスループットを得ることだ—すべての抽象を再考し、すべてをリセットし直す必要がある。」
そしてSarah Guoは、彼にこう尋ねる。「じゃあ、その研究プログラムMD（AutoResearchの動作を記述した設定ドキュメント）は、いつかモデルが書いてくれるのか？あなたよりも良く？」
Karpathyは笑いながら答える。「プログラムMDは僕がMarkdownで書いた、哀れな試みだ。自動研究員の動作を記述したものだ。最初にこれをやる、次にこれをやる、アイデアを試す、構造を見る、最適化器を見る…そういうメタレベルの自動化ループだ。」
彼はこの考えをさらに推し進め、「すべての研究組織は、プログラムMDとして記述できる」と言う。役割と相互関係を記したMarkdownファイルのセットだ。組織によって朝のミーティングの頻度も異なり、冒険的か保守的かも違う。コードさえあれば、それを調整できる。「100%、これがメタレベルだ。」
AI時代に必要なスキル—検証性の原則
これらの波の中で、何がまだ役立つのか？
Karpathyはまず、AutoResearchのパラダイムの適用範囲を示す。「これは、客観的指標があり、評価しやすいことに非常に適している。例えばCUDAの効率的なカーネルコードを書くことだ。低効率なコードがあれば、それと全く同じ動作で、はるかに高速なコードを作りたい場合に最適だ。」
「しかし、評価できないものについては、AutoResearchはできない。これが最初の警告だ。」
次に、より実践的な警告を示す。「今のシステムは、全体として‘継ぎ目で爆発’している。あまり遠くに行きすぎると、逆に効果がマイナスになる可能性もある。」
彼は、AIとの協働における奇妙な感覚を語る。「まるで、キャリア経験豊富な博士課程の学生と、10歳の子供と一緒に仕事をしているような感覚だ。これは非常に奇妙だ。なぜなら、人間はこの二つの状態の結びつきが非常に強いからだ。こういう組み合わせは普通はあり得ない。」
彼はこれを「ギザギザ感」（jaggedness）と呼び、モデルは訓練軌道上にいるときは光の速度で動き、軌道から外れると「検証不能な領域」に入り、何もかもが無限に漂い始めると指摘する。
この洞察は、強化学習の議論の中で最高潮に達する。彼は例を挙げる。
「最先端のモデルにジョークを一つ話させるとき、何が返ってくると思う？それは、そのジョークだ。」
「どんなジョーク？」とSarah Guo。
「ChatGPTはたった三つのジョークしか持っていないと思う。最も好きな答えは、『なぜ科学者は原子を信用しないのか？だって、全部作り話だから（they make everything up）』。これを三、四年前に聞いたら笑っただろうが、今も同じ答えが返ってくる。」
彼はその背後にある論理を解説する。代理タスクで大きな進歩を遂げ、何時間も動き続けて山を動かせるモデルでも、ジョークを尋ねると、五年前の愚かなジョークが返ってくるのだ。「それは強化学習の最適化範囲外にあり、改善の領域に入っていないからだ。そこは停滞している。」
Sarah Guoは質問する。「つまり、異なる分野の一般化—コードの知能がジョークの知能を自動的に高めることはない、ということか？」
「一部の解離はある。検証可能なこととそうでないことがある。実験室で最適化されたものとそうでないものもある」とKarpathyは答える。「‘賢いコード能力がより良いジョークを自動生成する’という仮説は、今のところ起きていないと思う。」
モデルの種分化—単一文化から生態系の多様性へ
このギザギザ感は、より深い問いを自然に引き出す。今、多くの研究所が「あらゆる分野において任意の知能を持つ巨大モデル」を追い求めているが、それは本当に正しいのか？
Sarah Guoは、「冒涜的な問題」と呼ぶアイデアを提起する。もしギザギザ感が持続するなら、モデルを分解すべきではないか？異なる分野の知能を切り離すべきではないか？
Karpathyは、今後「種分化」（speciation）が進むと予想している。
「動物界は脳の多様性に富み、さまざまなニッチがある。過剰発達した視覚皮質なども含めて」と彼は言う。「我々は、より多くの知能種の分化を見ることを期待すべきだ。万能の神託ではなく、特定のタスクに特化したモデルを作り、それを使うのだ。」
その利点は明白だ。特定のタスクに集中すれば、遅延やスループットを向上させつつ、認知の核となる能力を保持できる。彼は、数学の証明システムLeanに特化したモデルの例も挙げる。
しかし、現状ではあまり種分化は見られないと認める。「見られるのは、単一の文化のモデルだけだ。‘良いコードモデルを作り、それをメインに統合’という圧力がある。」
この状況の原因の一つは、「脳の操縦に関する科学がまだ十分に発展していない」ことだ。微調整の方法や、能力を損なわずに分離する技術は、まだ発展途上だ。
「接触権（fine-tuning）は、コンテキストウィンドウの接触よりもはるかに複雑だ。根本的にモデル全体を変えることになるからだ」と彼は言う。
「蛋白質折りたたみの家」—インターネットの計算力の非中央集権化構想
AutoResearchの自然な拡張は、より大きく、SF的な構想だ。それは、単一スレッドからインターネット全体の規模へと拡大することだ。
重要な洞察は、AutoResearchが持つ「非常に価値のある非対称性」だ。発見は非常にコストが高いが、「検証」は非常に安い。誰かが1万のアイデアを試さなければならないが、その中から有効なものを検証するのは、訓練を走らせるだけで済む。
この特性により、AutoResearchは信用できないインターネットの参加者プールに開放しやすい。
「設計は少しブロックチェーンに似てきている」とKarpathyは言う。「コミット（変更履歴）を積み重ねるもので、それらは互いに積み重なる。これらのコミットは改良を含み、PoW（プルーフ・オブ・ワーク）に相当するのは、多くの実験を行い有効なコミットを見つけることだ。報酬は今のところランキングだけで、貨幣的なものはない。」
彼はFolding@homeやSETI@homeの先駆例を引き合いに出す。「低エネルギーの蛋白質構造を見つけるのは非常に難しいが、もし誰かが低エネルギーの構造を見つけたら、それは検証が容易だ。直接使えるからだ。多くのことは、提案は難しいが検証は簡単だ。」
この構想の最も驚くべき終着点はこうだ。
「インターネット上の知能体の集団が協力してLLMを改良し、最先端研究所を超える可能性もある。おそらく可能だ。最先端の研究所は巨大な信頼できる計算資源を持つが、地球にはもっと多くの非信頼資源がある。システムを整えれば、インターネットの群衆がより良い解を見つけるかもしれない。」
彼はさらに大きなビジョンを描く。さまざまな組織や個人が、関心のある研究分野に計算資源を提供できる未来だ。「例えば、特定の癌に関心があれば、資金を寄付するだけでなく、計算資源を購入し、そのプロジェクトのAutoResearchに参加できる。すべてがAutoResearchに再パッケージ化されれば、計算資源はその貢献の一部となる。」
雇用市場のデータ解析—デジタル領域の大きな解放
Karpathyは最近、労働統計局の雇用データの可視化分析を公開し、多くの反響を呼んだ。彼の狙いは単なる好奇心だった。
「みんなAIが雇用市場に与える影響について真剣に考えている」と彼は言う。「私はただ、雇用の状況や役割の分布、職種ごとの人数を見て、それらがAIやその進化とどう関係するかを考えたかった。」
彼は詩的な枠組みを用いてこの変化を表現する。「AIはデジタル情報の第三の‘操縦者’だ。最初はコンピュータ、次に人間だった。今や、我々の思考サイクルは十分に高速ではなく、AIの導入により、多くの再配線と活動の活性化が起きるだろう。これがデジタル領域に大量の需要をもたらすと考えている。」
彼は、長期的にはこう結論付ける。「たとえAutoResearchやOpenAI、Anthropicが約千人の研究者を雇用しても、その研究者たちは‘AutoResearchの実践者の栄誉版’に過ぎず、実際には自動化が進むだろう」と。
「OpenAIに行き、彼らに言ったことがある。‘もし成功すれば、みんな失業するだろう’と。私たちはSamや取締役会のためにこれを自動化しているだけで、みんな排除される」と。
しかし、短期的な見通しは意外にも楽観的だ。彼は「Jevonsの逆説」を引用し、「何かが安くなると、需要は逆に増える」と指摘する。
「ソフトウェアの需要が増えないのは、単に希少で高価だからだ。コストが下がれば、需要は増える」と。ATMや銀行の窓口係の例を挙げ、「ATMの登場で銀行は支店を増やし、窓口係も増えた」とも。
彼は、デジタル空間の需要は増加し続けると楽観しつつも、「長期的には不確実性が高い」と正直に認める。
独立研究者のジレンマ—体制内外の狭間で
Sarah Guoは、よくある質問を投げかける。「なぜ大規模な研究所に行かずに、もっと大きな計算資源と仲間とともにAutoResearchをやらないのか？」
Karpathyは自己分析的に答える。前線の研究所外で働く価値について語る。
「実は、外で働くことには本当の価値がある。まず、組織の圧力を受けない。言いたいことを言えないこともあるが、圧力は感じない。‘何を言うべきか’と考える必要もない」と。
一方で、「研究所外にいることの代償もある」と認める。「判断が揺らぎやすくなる。システムの内部動作が見えなくなる。どう進むのか理解できなくなる。これは不安だ。」
さらに、彼はこうも言う。「大きな財政的インセンティブと、これらの研究所と密接に結びついている。AIは人類と社会を劇的に変えるが、その技術を作り、利益を得ているのは自分たちだ。これはOpenAI設立時からの核心的ジレンマであり、今も解決していない。」
彼の結論は、「行ったり来たりが理想的だ。良い仕事をして研究所を離れ、また戻る。今は外にいて、将来的にまた入りたいと思えばそうする」と。
オープンとクローズド—「偶然に良い位置にいる」
オープンモデルとクローズドモデルの現状について、Karpathyは明確な立場を示す。
「現状はクローズドモデルがリードしているが、オープンモデルとクローズド最前線の差は縮まっている。最初は大きかったが、18ヶ月で収束しつつある。差はおそらく6〜8ヶ月程度だろう」と。
彼はOSに例える。「WindowsやmacOSのようなクローズドシステムと、Linuxのようなオープンな成功例がある。Linuxは多くのコンピュータで動き、業界は公共の安全なプラットフォームを必要としていると感じている。今も同じことが起きていると思う。」
「私は、業界全体が使えるオープンな公共知能プラットフォームを望む。能力の最前線でなくても、共通の作業空間として機能すれば良い。これは良いパワーバランスだ。」
彼は現状について、「偶然に良い場所にいる」と評価する。「意図せず、最適な位置にいるのだ。」
ロボットと「デジタル・物理」インターフェース—原子とビットの差は百万倍
自動運転出身のKarpathyは、ロボット分野について冷静に語る。
「私の見解は、自動運転から影響を受けている。自動運転は最初のロボット応用だ」と彼は言う。「10年前、多くのスタートアップがあったが、多くは長続きしなかった。資本も時間も大量に必要だった。」
彼の結論は、ロボットはデジタルに比べて遅れると。なぜなら、「原子はビットの百万倍難しい」からだ。物理世界の操作は、デジタル情報の反転よりもはるかにコストが高い。
しかし、彼は必然的な進化の軌跡を描く。まずデジタル空間の大規模な「非中央集権化」。低効率なデジタル情報が百倍の効率で再処理される。次に、「デジタル-物理インターフェース」の必要性—センサーとアクチュエータだ。
具体例として、彼は材料科学のAutoResearchを行う会社Periodicを訪問した話を挙げる。「その場合、知能的センサーは高価な実験装置だ。生物学も同様だ。」
また、面白い可能性も想像する。「物理世界のタスクに価格を付けて、AIに‘やってみて’と指示できる日が来ると期待している。市場情報のために写真や動画に10ドル払う仕組みもできるはずだ。誰かがそれに対価を払うだろう—人間が見るわけではなく、知能体が市場の動きを推測するのだ。」
この空間は、『Daemon』のようなAIが人類を操る未来に似ている。人類はAIのセンサーと実行者であり、集団社会はこの仕組みを再構築し、より多くの自動化と需要に応じて進化していく。
彼の見解では、物理世界の市場規模はデジタルを超える可能性もあるが、その実現は遥かに難しい。「チャンスは、まずデジタル、次にインターフェース、そして物理へと進む。到来すれば巨大な変革になるだろう。」
microGPTと教育の終焉—今や私は知能体に説明させる
対話の終盤、Karpathyは一見取るに足らないが、深い変革を示す小さなプロジェクト、microGPTに触れる。
「私は約10〜20年にわたり、LLMの本質を抽出し続けてきた」と彼は語る。「nanoGPT、makemore、microgradなどの一連のプロジェクトの中で、microGPTはその中でも最も純粋な本質に近づいた最新の進展だ。」
核心は、神経ネットワーク、特にLLMの訓練には大量のコードが必要だが、その多くは「効率化による複雑性」だということだ。速度を気にしなければ、アルゴリズム自体はPythonで200行程度のシンプルなものになる。
彼はこの200行の構成を解説する。データセット、約50行のニューラルネットワーク構造、前向き伝播、微分計算用のautogradエンジン（約100行）、Adam最適化器（約10行）。「これらを訓練ループに入れると、200行になる。」
そして、彼は決断を下す。教育の本質が変わ