ChatGPT のアップグレード後、私が話しかけるときの遅延はほぼありません。最新のリアルタイム音声モデルの遅延はだいたい 200-300ms で、人間同士の会話の自然な応答間隔も 200-300ms。どちらも同じです。

ただ、0遅延の代償は忘却です。リアルタイム音声モデルのコンテキストウィンドウは 32k token しかなく、純テキストモデルの1/300。低遅延＝小さな記憶＋能動的な忘却。秒で返すうえに、あなたが言ったことを一言一句すべて覚えている必要があり、現状では二律背反の問題です。
計算能力がずっと足りません。5090 1枚で SDXL の画像を1枚作るのに2秒、FLUX は9秒かかり、人物の LoRA を学習するには 10-30 枚の画像が必要で、今はまだ1〜2時間かかります。
私が借りている5090の価格は現在ほぼ5000ドルで、フル稼働 575W、しかも電気代は含まれていません。2〜3年のスパンで相対的な計算能力が時代遅れになります。ほんとに高い。
私たちは15年前にお互いにSMSを送っていました。後から MMS で画像が送れるようになり、それから動画を送るようになって、そして今に至るまで遅延のない高品質なリアルタイム通話に至っています。SMS 1通は 140バイトしかありません。2G の 9.6kbps から 5G のピーク 20Gbps までで、帯域は 200万倍違います。
AI が使うルートもまったく同じです。最初は文字 token で、去年には画像、そして音声に。次は確実に、遅延のない動画でのコミュニケーションになります。
実は動画はもう始まっています。Gemini Live は去年、カメラをオンにしてリアルタイムで対話できました。毎秒 300 token を燃やし、デフォルト上限は2分ですが、話し終えると全部忘れてしまう。高い＋効果が悪い＋さまざまな次元がまだ原始的で、結果としてほとんど使えません。
今の Agent でも、まだ文字で計画していて、この世界をテキストで理解している。推論の連鎖は全部 token で、文字でない潜在領域での推論は、ようやく試し始めた段階です。
AI の時間の理解もテキストのところで止まっています。数学オリンピックの金メダル級のモデルでも、アナログ時計を模したものを読む精度は 50% 前後にしかなりません。触覚、感情、身体感覚としての認知――成熟するには、まだ非常に非常に遠いです。
次に保存。私は「永遠にストレージが足りない」とは思いません。「永遠」っていう言葉が大げさすぎます。
ストレージ1GBあたりのコストは 45 年で 99.99% 下がっていて、長期的には当然もっと安くなるだけです。
ただ今は AI がメモリを吸い尽くしていて、DRAM は1四半期で 90% 上がっており、局所的に需給が逼迫しています。だからといって「永遠に品不足になる」とは限りません。
じゃあこれは疑似需要なのか？ 疑似需要の特徴は、この月は使うけど来月は使わない、ということです。
Google が毎月処理する token は、1年で 7 倍になって 3200 万億に達しました。ChatGPT の週次アクティブユーザーは 9億です。
token の価格は毎年 10 倍下がる一方で、みんなが議論しているのは token をどうもっと効率よく使うかであって、「どうやって token を使わないのか」ではありません。
ある agent の会話で消費される token は、単発のやり取りで 50-200。価格が下がれば、私たちはもっとたくさん使うだけです。
生成AIは3年で世界の 53% まで浸透し、インターネットは 7年、PC は 15年かかりました。
だから、私たちは当然 AI の初期段階にいて、転換は不可逆です。2G 時代の私たちみたいに、着信メロディーはまだ『浪漫手機』で、受信箱がいっぱいでも数通のSMSを消すのを惜しんでしまう。
（画像は私がFable5で作った🎮）