torygreen

如今價值 1 美元的 AI 能力，如果目前的曲線持續下去，一年後將降至約 8 美分。
每季便宜 47% 意味著固定能力基本上每約 100 天就會變成半價。
其底層硬體的進展速度遠沒有那麼快。
自 2023 年以來，AI 晶片的效能／美元每年提升約 49%。經品質調整後的模型能力正變得便宜約 13x。
因此，大部分的成本壓縮都發生在矽晶片之上：更好的架構、訓練、量化、服務部署，以及殘酷的實驗室競爭。
而更便宜的智慧幾乎會立即被消耗。
@OpenRouter 曾在一段期間將 Luna 的定價下調約 90%，代幣交易量也跳升 13.8x。即使折扣結束後，仍有相當一部分使用者留了下來。
每次改進都會讓智慧變得更便宜，接著更低的價格又讓執行新的工作負載變得值得。
能力持續貶值，而需求卻持續擴張。

.@ionet 在 10 月前 13 天透過 @OpenRouter 已達到約 1650 億個 token。
這已經是我們 7 月全部成果的約 1.8 倍。
如果目前的速度維持不變，10 月的總量將約為 7 月的 4 倍。
老實說，這對我來說比 GPU 的原始數量更重要。
隨著稀疏模型變得更好、服務堆疊變得更精簡，每部署一個 GPU 所產生的有效輸出持續提升。因此，網路可以同時朝兩個方向成長：更多硬體上線，以及從現有硬體中榨取出更多工作量。
每個 GPU 所服務的 token 數量，是判斷網路本身是否真的在變得更好的絕佳指標。

到 2032 年，目前的 AI 建設規模計算顯示，需要約 183 GW 的容量，在 80% 利用率下，每個計費 GPU 小時可賺取約 6.90 美元。
這是極其龐大的基礎設施規模，必須持續維持高使用率。
Van Nieuwerburgh 的核心情境假設資本基礎約為 9.6 萬億美元、未加槓桿報酬率為 10%、營運現金流利潤率為 50%，以及 IT 設備使用年限為六年。
在此設定下，該系統需要每年 3.725 萬億美元的營收，約占預計美國 GDP 的 9.2%。
調整這些假設後，這道門檻將介於 2.3 萬億美元至 6.7 萬億美元之間。
與此同時，模型的運行成本持續下降，推理堆疊持續改善，更多容量也持續上線。
因此，真正的問題不是 AI 需求是否會變得龐大。
它很可能會。
而是需求成長的速度是否足夠快，能讓約 183 GW 的容量維持高利用率，同時價格仍足以支撐約 9.6 萬億美元的資本結構。
AI 可以改變一切，而這項建設規模的部分環節最終仍可能呈現難看的經濟效益。

.@ionet 在十月第一週透過 @OpenRouter 處理的 token 幾乎與整個七月一樣多。
七月約 920 億個 token
10 月 1–7 日約 860 億個 token
僅 10 月 7 日就有 209 億個 token
同一批機器。
我最喜歡的是流量呈現的方式。
近期大量流量正流經 MiMo、Gemma 和 Nemotron 等稀疏模型，其中每個 token 只有一小部分模型會啟動。再加上更好的批次處理、快取、路由和服務基礎設施，同一組 GPU 機群的經濟效益會持續在底層發生變化。
對 @ionet 而言，等式兩邊都在持續改善：
推理需求正在快速成長，而每一項效率提升都能讓同一個 GPU 網路服務更多需求。

Jev 可能是如今一個好的 AI 點子有多快被商品化的完美例子。
它在 9 月 15 日推出。不到兩週，OpenAI、Databricks + Cloudflare 就已經相繼推出相同的基礎元件。Cloudflare 的 Clef-flash 甚至相容於 Jev，並聲稱中位延遲低了約 13 倍。
所以需求並不是問題。只是所有人看到它成功後，這個點子很容易就被吸收了。
感覺這裡的護城河必須是回饋迴圈、專有資料 + 分發能力。
Jev 找到了這個類別。其他所有人幾乎立即就出現了。

相同的 Deepseek 測試框架、相同的簡短指令，以及：
Deepseek-v4-flash 在 BIABench 上的分數為 0.52。
Claude Opus 5 得分 0.65。
因此，約 50 倍的支出只讓 16 個真實生物影像分析任務的分數多出 0.13。
而糟糕的尾端幾乎沒有改善。有些 3D + 時間序列任務在每個代理上都低於 0.19，而重跑相同模型所產生的差異，可能比完全更換模型還要大。
我可能會讓便宜模型處理例行性的大量工作，再將不確定的案例升級交由人類或專門工具處理。
而在科學領域，一個你仍然需要驗證的 4.53 美元答案，實際上就不算是一個 4.53 美元的答案。

Google 相較於其他前沿實驗室，在 Argon 上擁有相當不公平的優勢
他們擁有 Argon 底層的 TPUs，並且可以直接將模型部署到目前每分鐘已處理約 220 億個 token 的 API 中。
這套配置相當令人印象深刻。
打造晶片 -> 訓練模型 -> 將其投入極其龐大的分發體系 -> 將收益回饋到下一次運行。
而且 Argon 已經在持續改善自身周邊的技術堆疊，透過將 +80 萬行 C/C++ 遷移至 Rust，釋放出 300+ TiB 的資料中心記憶體，並讓一套量子計算程序超越已發布的基準 40%。
每一代 Gemini 都能越來越多地繼承上一代協助最佳化的基礎設施
Argon 很可能是我們在西方前沿實驗室中見過的最佳、也是唯一的全端優勢版本。

.@AnthropicAI S-1 有點令人著迷，因為這項業務發展得幾乎快到申報文件本身都跟不上。
2025 年營收約為 46 億美元。僅 2026 年第二季就達到約 115 億美元，而據報截至 7 月底，ARR 已超過 650 億美元。
接著你會看到約 80 頁的風險因素，相較之下實際業務部分只有 48 頁；披露資料顯示，在某個抽樣週中，AI 研究運算資源約有 6% 用於安全工作；同時也相當直白地承認，持續且重疊地發布模型，基本上是維持前沿地位的必要條件。
感覺公開市場可能會迫使 AI 領域達到我們至今尚未真正見過的透明度。
營收成長、運算資源分配、安全支出、重大事件、發布暫停……所有這些開始成為投資人級別的資訊，而不再只是散落各處的部落格文章。
很希望看到每一家前沿實驗室都以同一套評分標準接受衡量。

AI 採用率今年幾乎沒有成長。消費者支出仍從 ~$12B → 400 億美元。
這是一個比另一個使用者數量里程碑有趣得多的訊號。
美國採用率僅從 61% 上升至 64%。全球使用者成長約 11%。
現有使用者只是開始讓 AI 更多地介入他們的生活。
41% 的人曾試用過代理程式。32% 的人已經讓 AI 在未經最終核准的情況下採取行動。而 92% 的代理程式使用者都在為 AI 付費。
因此，消費者 AI 的下一階段發展可能不需要再有十億人發現聊天機器人。
它可以來自已經在使用 AI 的人，從：
「回答這個」
轉變為
「處理這個。」
對每位使用者而言，這代表完全不同程度的時間、運算 + 經濟活動。

我們沒預期會這麼早到來的「翻轉」。
開放權重開始很像 AI 的基載電力。
它們目前還沒有直接擊敗最好的閉源模型。但它們已經足夠接近，也足夠優秀，能處理那一大堆不值得支付前沿模型定價的工作。
這樣一來，Astra、Opus、Fable 等就更像尖峰電廠：只有在任務確實能創造相應收益時，才會調用這些昂貴的容量。
如果這種趨勢持續下去，開放權重最終可能承擔大多數例行推理，而閉源實驗室則在那些失敗代價高昂的棘手問題上賺錢。
這比「開放模型最終擊敗閉源模型」有趣得多。

我們花了幾十年讓軟體變得不那麼具實體性，而 AI 正在迅速扭轉這一點。
目前的估算是，從 2025–32 年，美國的 AI 建設每年將吸收約 3.63% 的 GDP，總計約 10.3 萬億美元。
> 鐵路平均為 2.24%。
> 公路為 1.13%。
> 電信 + 光纖為 1.1%。
這是為智慧建設的大量混凝土、銅、電力、GPU + 冷卻設備，數量之大令人難以置信。
與鐵路相比很有參考價值，但有一個棘手的差異：1880 年建成的鐵路可以維持數十年具有實用價值。一整機架的加速器在幾代模型之後就可能顯得過時。
因此，這可能是美國有史以來最大的一筆基礎設施押注，其中還包含了一些折舊速度最快的機械設備。
不過，如果智慧真的成為所有事物都能低成本取得的投入要素，那麼 GDP 的 3.6% 最終看起來可能不像過度投資，而更像是建設下一層公用事業的成本。

前沿模型幾乎還沒來得及成為預設選項，自己的平價兄弟模型就已經出現，開始分食工作負載。
今年截至 9 月 23 日，已有 36 次主要模型家族發布，高於去年同樣七家實驗室合計的 27 次。
價格階梯擴大的速度也一樣快。@AnthropicAI 已將 Opus 級定價從每百萬個 token 15/75 美元降至 4/20 美元。
@OpenAI 現在的價格範圍從 Luna 的 0.10/0.50 美元一路延伸到 Astra 的 10/50 美元。
這讓模型經濟學變得相當奇怪。
昂貴模型開始更像突發容量。你會在少部分任務上呼叫它，只有在多幾點能力值得這筆費用時才使用，然後一旦更便宜的模型變得夠好，就把其他所有任務往價格階梯下方推。
按照這種發布節奏，實驗室實際上已經不再銷售單一模型，而是在銷售一條持續變動的價格／效能曲線。
而能夠妥善進行路由的應用程式，將能自動搭上這條曲線：每次新發布，不是讓它們以相同花費獲得更多能力，就是以更低成本取得相同能力。
感覺模型選擇正逐漸成為產品經濟學的核心要素之一。

還有另一個幾乎沒人怎麼談的開放模型飛輪。
DeepSeek V4.1 Flash 上週在 OpenRouter 上做了約 18T 個 token，而且它的輸出可以被明確用於蒸餾（distillation）。
因此，這個模型可以同時做兩件事：
今天用於量產運行，然後成為明天任何人訓練時的教師資料。
OpenAI 與 Anthropic 出於可以理解的原因，會把這點擋在競爭模型之外。
但這也意味著，每一個被廣泛使用、且允許性較高的模型，也都在把部分能力傳遞到下一代更小/更專門的模型。
廉價推論已經是分發上的優勢了。把這種使用量轉化為合法的訓練供給，會讓這個飛輪變得更有趣。

Xiaomi 剛發布了一些實驗室通常會深埋不提的東西：實際的強化學習帳單。
MiMo-V2.6 Pro 和 Flash 都使用 75.3 萬筆樣本進行訓練，並在第 30 步停止。
> Pro 的成本為 262 萬美元。
> Flash 的成本為 85.4 萬美元。
這額外 3.1 倍的支出，在 DeepSWE 上換來了 6.89 分。
但 Flash 在 AutomationBench 上仍以些微優勢勝過 Pro。
你現在已經可以看到相同的產品形態到處出現：一個模型負責最艱難的任務，另一個略遜一籌的模型則便宜到足以全天候運行。
ZAI、Deepseek、Qwen 和 Xiaomi 現在都有這項共同點。
一旦較小的模型在大多數工作上達到可靠性門檻，較大的模型看起來就更像是只在特定情況下選擇性調用，而不是所有事情的預設選項。
這很可能最終會成為真正的模型堆疊：底層是廉價的智慧，只有當任務確實值得時，才調用昂貴的智慧。

GPU 小時可能正逐漸變成需要對沖的資產。
CFTC 已在探索運算衍生品，而 Liquid Compute 剛籌集 $15M 以建立受監管的 GPU 期貨、期權 + 交換市場。
如果 AI 運算確實會從 2025 年的約 $360B 增長至 2030 年的約 2.3 萬億美元，這就說得通了。
奇怪之處在於標準化。
某個地區的 H100 小時，與另一個地區在網路連接、電力成本和叢集規模不同的 B200 小時，並不是同一種產品。
因此，在運算取得真正的期貨市場之前，必須有人發明一份所有人都同意圍繞其交易的基準合約。
一旦這項基準存在，實驗室就能對沖未來的推論成本，資料中心可以提前出售運算容量，而運算的行為也會不再那麼像硬體採購，更像一個真正的金融市場。

.@OpenAI 已花費 65 億美元打造裝置團隊，如今可能還要在一開始決定模型能看到什麼的部分上再花費 3 億美元以上（Glass 影像）。
Glass 直接在相機應用程式之下，對原始感測器資料進行運作。其提出的行動系統使用的感測器比目前最大的智慧型手機感測器大約大 2 倍，並宣稱最多能捕捉多 10 倍的光線。
對於常駐助理而言，這非常重要。
感測器錯過的任何內容都會消失。模型之後只能設法推測缺失的部分，這意味著更多不確定性、更多運算，以及對你周遭發生的一切更差的理解。
在上游提供更好的輸入，可以讓整個下游堆疊的成本降低。
io 將裝置團隊交給 OpenAI，如今 Glass 可能讓那部裝置擁有好得多的眼睛。