torygreen

我們花了幾十年讓軟體變得不那麼具實體性，而 AI 正在迅速扭轉這一點。
目前的估算是，從 2025–32 年，美國的 AI 建設每年將吸收約 3.63% 的 GDP，總計約 10.3 萬億美元。
> 鐵路平均為 2.24%。
> 公路為 1.13%。
> 電信 + 光纖為 1.1%。
這是為智慧建設的大量混凝土、銅、電力、GPU + 冷卻設備，數量之大令人難以置信。
與鐵路相比很有參考價值，但有一個棘手的差異：1880 年建成的鐵路可以維持數十年具有實用價值。一整機架的加速器在幾代模型之後就可能顯得過時。
因此，這可能是美國有史以來最大的一筆基礎設施押注，其中還包含了一些折舊速度最快的機械設備。
不過，如果智慧真的成為所有事物都能低成本取得的投入要素，那麼 GDP 的 3.6% 最終看起來可能不像過度投資，而更像是建設下一層公用事業的成本。

前沿模型幾乎還沒來得及成為預設選項，自己的平價兄弟模型就已經出現，開始分食工作負載。
今年截至 9 月 23 日，已有 36 次主要模型家族發布，高於去年同樣七家實驗室合計的 27 次。
價格階梯擴大的速度也一樣快。@AnthropicAI 已將 Opus 級定價從每百萬個 token 15/75 美元降至 4/20 美元。
@OpenAI 現在的價格範圍從 Luna 的 0.10/0.50 美元一路延伸到 Astra 的 10/50 美元。
這讓模型經濟學變得相當奇怪。
昂貴模型開始更像突發容量。你會在少部分任務上呼叫它，只有在多幾點能力值得這筆費用時才使用，然後一旦更便宜的模型變得夠好，就把其他所有任務往價格階梯下方推。
按照這種發布節奏，實驗室實際上已經不再銷售單一模型，而是在銷售一條持續變動的價格／效能曲線。
而能夠妥善進行路由的應用程式，將能自動搭上這條曲線：每次新發布，不是讓它們以相同花費獲得更多能力，就是以更低成本取得相同能力。
感覺模型選擇正逐漸成為產品經濟學的核心要素之一。

還有另一個幾乎沒人怎麼談的開放模型飛輪。
DeepSeek V4.1 Flash 上週在 OpenRouter 上做了約 18T 個 token，而且它的輸出可以被明確用於蒸餾（distillation）。
因此，這個模型可以同時做兩件事：
今天用於量產運行，然後成為明天任何人訓練時的教師資料。
OpenAI 與 Anthropic 出於可以理解的原因，會把這點擋在競爭模型之外。
但這也意味著，每一個被廣泛使用、且允許性較高的模型，也都在把部分能力傳遞到下一代更小/更專門的模型。
廉價推論已經是分發上的優勢了。把這種使用量轉化為合法的訓練供給，會讓這個飛輪變得更有趣。

Xiaomi 剛發布了一些實驗室通常會深埋不提的東西：實際的強化學習帳單。
MiMo-V2.6 Pro 和 Flash 都使用 75.3 萬筆樣本進行訓練，並在第 30 步停止。
> Pro 的成本為 262 萬美元。
> Flash 的成本為 85.4 萬美元。
這額外 3.1 倍的支出，在 DeepSWE 上換來了 6.89 分。
但 Flash 在 AutomationBench 上仍以些微優勢勝過 Pro。
你現在已經可以看到相同的產品形態到處出現：一個模型負責最艱難的任務，另一個略遜一籌的模型則便宜到足以全天候運行。
ZAI、Deepseek、Qwen 和 Xiaomi 現在都有這項共同點。
一旦較小的模型在大多數工作上達到可靠性門檻，較大的模型看起來就更像是只在特定情況下選擇性調用，而不是所有事情的預設選項。
這很可能最終會成為真正的模型堆疊：底層是廉價的智慧，只有當任務確實值得時，才調用昂貴的智慧。

GPU 小時可能正逐漸變成需要對沖的資產。
CFTC 已在探索運算衍生品，而 Liquid Compute 剛籌集 $15M 以建立受監管的 GPU 期貨、期權 + 交換市場。
如果 AI 運算確實會從 2025 年的約 $360B 增長至 2030 年的約 2.3 萬億美元，這就說得通了。
奇怪之處在於標準化。
某個地區的 H100 小時，與另一個地區在網路連接、電力成本和叢集規模不同的 B200 小時，並不是同一種產品。
因此，在運算取得真正的期貨市場之前，必須有人發明一份所有人都同意圍繞其交易的基準合約。
一旦這項基準存在，實驗室就能對沖未來的推論成本，資料中心可以提前出售運算容量，而運算的行為也會不再那麼像硬體採購，更像一個真正的金融市場。

.@OpenAI 已花費 65 億美元打造裝置團隊，如今可能還要在一開始決定模型能看到什麼的部分上再花費 3 億美元以上（Glass 影像）。
Glass 直接在相機應用程式之下，對原始感測器資料進行運作。其提出的行動系統使用的感測器比目前最大的智慧型手機感測器大約大 2 倍，並宣稱最多能捕捉多 10 倍的光線。
對於常駐助理而言，這非常重要。
感測器錯過的任何內容都會消失。模型之後只能設法推測缺失的部分，這意味著更多不確定性、更多運算，以及對你周遭發生的一切更差的理解。
在上游提供更好的輸入，可以讓整個下游堆疊的成本降低。
io 將裝置團隊交給 OpenAI，如今 Glass 可能讓那部裝置擁有好得多的眼睛。

查詢次數即將成為衡量 AI 需求的相當糟糕的代理指標。
在 8 週內，一名 Claude Code 使用者輸入了 1,138 個提示。這些提示轉化為 ~1.4 萬次模型呼叫，以及 32 億個處理過的權杖。估算出的能源使用量約為每個輸入提示 150 瓦時，約是 Gemini 文字提示中位數的 625 倍。
大部分運算都發生在使用者停止輸入之後。代理程式會重新讀取上下文、呼叫工具、重試、分支處理，並持續在背景中工作。
因此，一次人類請求開始更像是一小批工作，而不是單次查詢。
對基礎設施而言，更好的單位最終可能會是代理程式小時，而不是提示。

2 年前，Google 每月處理 9.7 萬億個 AI token。
如今已超過 3,200 萬億個。這是增加了 330 倍。
由於沒有可靠的全球統計數字，因此 Google 的數字最好視為已公開揭露的下限。
即使成長速度放緩至每年 2 倍，僅 Google 一家到 2030 年每月就會達到 51,000 萬億個 token。
而這項工作負載將與如今有人開啟聊天機器人的情況大不相同。長時間運作的代理程式將保留上下文、將工作拆分為子任務、呼叫其他模型、重試失敗的操作，並相互驗證工作成果。一項指令就可能讓數十個模型持續運作數小時。
想像一家擁有 10,000 名員工的公司，每位員工在 8 小時的工作日中監督 20 個代理程式。在員工人數不變的情況下，這每天會產生 160 萬個代理程式工時的推理量。
到 2030 年，對全球各地的企業而言，運算成本將遠高於薪資，成為核心營運預算的一大部分。

Anthropic 的一份合約正將 35 億美元的融資和整個 GPU 建置提前至當下。
據報導，Nscale 已與 Anthropic 簽署一筆約 $45B 的交易，正尋求在 IPO 前籌集 35 億美元，並已向投資人展示來自已簽訂租約的預計收入 $103B 。Nvidia 可能會提供此次募資額中的 $2B 。
Anthropic 的承諾為放款人提供了具體的承作依據，而 Nvidia 的資本則有助於提前實現自身的 GPU 銷售。Nscale 將兩者轉化為容量，趕在大部分收入到來之前完成建置。
有趣之處在於這個時間錯配。
租約可能持續數年，但 GPU 的經濟效益可能隨每個產品週期而改變。Nscale 實際上是在押注，今天的硬體將能維持足夠長的生產力，以賺取明天已簽約的收入。

資料中心正逐漸成為重要的信貸市場。
JLL 預計，北美長期融資發放額將從 $80B 2025 年增加至 $175B 今年，接著在 2028 年達到 $322B 。這三個預測年度合計約為 $722B 。
但這類資本的成本已經開始造成市場分化。由超大規模雲端服務商支持的建設案，貸款／成本比率可達約 85%，利差僅略高於 200 個基點；而與 AI 實驗室及新型雲端服務商相關的專案，定價可能高出 200–300 個基點，槓桿率卻只有 70–80%。
因此，在安裝單一 GPU 之前，兩個完全相同的兆瓦級專案就可能具有截然不同的經濟效益，純粹因為租約背後的承租方不同。
隨著這波建設變得更加依賴債務，每個 token 的成本將有越來越大的部分，在推論真正開始前數年，就由信貸市場決定。

同樣一兆瓦的電力，可支援多 30 倍的代理工作量。
@nvidia 表示，在 DeepSeek V4 Pro 上，Vera Rubin NVL72 相較於 GB300 NVL72 帶來了這樣的成果，且每 100 萬個 token 的成本最高降低 35 倍。
工作負載正是讓這不只是一般吞吐量基準測試的原因。AgentX 保留了實際代理使用中的棘手部分：不斷增長的上下文、重複的工具呼叫，以及在任務中途分支出去的子代理。
如果這些早期數據經得起 SemiAnalysis 的審查，對基礎設施的影響將相當重大。同樣的已簽約兆瓦數，突然就能支援更多可計費的代理工作，而不必等待另一座變電站或互連設施。
在電力受限的市場中，更優秀的機櫃能比電網更快創造新的容量。

McKinsey 最新的《AI 現況》調查中有一項數據，應該會讓許多 SaaS 公司感到不安：
32% 的公司表示，由於程式撰寫代理可以在內部打造，他們已經跳過購買至少一項軟體產品或功能。
這並不代表公司停止購買軟體，而是代表「功能」層更難實現商業化。
如果內部團隊能在一兩天內重現一個狹窄的工作流程，供應商就需要用代理無法低成本複製的某些要素來證明訂閱模式的合理性：分銷管道、嵌入式資料、合規性、整合能力、網路效應，或掌握系統記錄來源。
在 McKinsey 的 AI 高績效企業中，將近一半已經因為這個原因跳過採購。
感覺程式撰寫代理可能會在壓縮工程人力之前很久，就先壓縮軟體功能的獨立價值。

垂直 AI 公司會在某個時點不再看起來像 API 客戶，而開始看起來像模型公司。
Harvey 在六個月內從每月約 1 萬億個 Token 增長至 14.5 萬億個 Token。現在，它正以 Kimi K3 為基礎，利用特定領域任務、專家回饋及專有工作流程資料，對自有法律模型進行後訓練。
Thomson Reuters 也正朝著相同方向發展，打造自有法律模型。
這感覺像是相當自然的演進。
在低用量時，前沿 API 顯然是最佳選擇。當每月達到 10 萬億個以上的 Token 時，模型選擇開始變成毛利率決策。而且，如果你已經擁有工作流程、專家回饋及失敗資料，那麼你手上正好具備專門化開放權重基礎模型所需的所有要素。
對於規模成長到足夠大的公司而言，「AI 包裝層」階段最終可能只是暫時的。
到了某個時點，垂直應用程式也會開始將模型層整合到內部。