torygreen

GPU 小時可能正逐漸變成需要對沖的資產。
CFTC 已在探索運算衍生品，而 Liquid Compute 剛籌集 $15M 以建立受監管的 GPU 期貨、期權 + 交換市場。
如果 AI 運算確實會從 2025 年的約 $360B 增長至 2030 年的約 2.3 萬億美元，這就說得通了。
奇怪之處在於標準化。
某個地區的 H100 小時，與另一個地區在網路連接、電力成本和叢集規模不同的 B200 小時，並不是同一種產品。
因此，在運算取得真正的期貨市場之前，必須有人發明一份所有人都同意圍繞其交易的基準合約。
一旦這項基準存在，實驗室就能對沖未來的推論成本，資料中心可以提前出售運算容量，而運算的行為也會不再那麼像硬體採購，更像一個真正的金融市場。

.@OpenAI 已花費 65 億美元打造裝置團隊，如今可能還要在一開始決定模型能看到什麼的部分上再花費 3 億美元以上（Glass 影像）。
Glass 直接在相機應用程式之下，對原始感測器資料進行運作。其提出的行動系統使用的感測器比目前最大的智慧型手機感測器大約大 2 倍，並宣稱最多能捕捉多 10 倍的光線。
對於常駐助理而言，這非常重要。
感測器錯過的任何內容都會消失。模型之後只能設法推測缺失的部分，這意味著更多不確定性、更多運算，以及對你周遭發生的一切更差的理解。
在上游提供更好的輸入，可以讓整個下游堆疊的成本降低。
io 將裝置團隊交給 OpenAI，如今 Glass 可能讓那部裝置擁有好得多的眼睛。

查詢次數即將成為衡量 AI 需求的相當糟糕的代理指標。
在 8 週內，一名 Claude Code 使用者輸入了 1,138 個提示。這些提示轉化為 ~1.4 萬次模型呼叫，以及 32 億個處理過的權杖。估算出的能源使用量約為每個輸入提示 150 瓦時，約是 Gemini 文字提示中位數的 625 倍。
大部分運算都發生在使用者停止輸入之後。代理程式會重新讀取上下文、呼叫工具、重試、分支處理，並持續在背景中工作。
因此，一次人類請求開始更像是一小批工作，而不是單次查詢。
對基礎設施而言，更好的單位最終可能會是代理程式小時，而不是提示。

2 年前，Google 每月處理 9.7 萬億個 AI token。
如今已超過 3,200 萬億個。這是增加了 330 倍。
由於沒有可靠的全球統計數字，因此 Google 的數字最好視為已公開揭露的下限。
即使成長速度放緩至每年 2 倍，僅 Google 一家到 2030 年每月就會達到 51,000 萬億個 token。
而這項工作負載將與如今有人開啟聊天機器人的情況大不相同。長時間運作的代理程式將保留上下文、將工作拆分為子任務、呼叫其他模型、重試失敗的操作，並相互驗證工作成果。一項指令就可能讓數十個模型持續運作數小時。
想像一家擁有 10,000 名員工的公司，每位員工在 8 小時的工作日中監督 20 個代理程式。在員工人數不變的情況下，這每天會產生 160 萬個代理程式工時的推理量。
到 2030 年，對全球各地的企業而言，運算成本將遠高於薪資，成為核心營運預算的一大部分。

Anthropic 的一份合約正將 35 億美元的融資和整個 GPU 建置提前至當下。
據報導，Nscale 已與 Anthropic 簽署一筆約 $45B 的交易，正尋求在 IPO 前籌集 35 億美元，並已向投資人展示來自已簽訂租約的預計收入 $103B 。Nvidia 可能會提供此次募資額中的 $2B 。
Anthropic 的承諾為放款人提供了具體的承作依據，而 Nvidia 的資本則有助於提前實現自身的 GPU 銷售。Nscale 將兩者轉化為容量，趕在大部分收入到來之前完成建置。
有趣之處在於這個時間錯配。
租約可能持續數年，但 GPU 的經濟效益可能隨每個產品週期而改變。Nscale 實際上是在押注，今天的硬體將能維持足夠長的生產力，以賺取明天已簽約的收入。

資料中心正逐漸成為重要的信貸市場。
JLL 預計，北美長期融資發放額將從 $80B 2025 年增加至 $175B 今年，接著在 2028 年達到 $322B 。這三個預測年度合計約為 $722B 。
但這類資本的成本已經開始造成市場分化。由超大規模雲端服務商支持的建設案，貸款／成本比率可達約 85%，利差僅略高於 200 個基點；而與 AI 實驗室及新型雲端服務商相關的專案，定價可能高出 200–300 個基點，槓桿率卻只有 70–80%。
因此，在安裝單一 GPU 之前，兩個完全相同的兆瓦級專案就可能具有截然不同的經濟效益，純粹因為租約背後的承租方不同。
隨著這波建設變得更加依賴債務，每個 token 的成本將有越來越大的部分，在推論真正開始前數年，就由信貸市場決定。

同樣一兆瓦的電力，可支援多 30 倍的代理工作量。
@nvidia 表示，在 DeepSeek V4 Pro 上，Vera Rubin NVL72 相較於 GB300 NVL72 帶來了這樣的成果，且每 100 萬個 token 的成本最高降低 35 倍。
工作負載正是讓這不只是一般吞吐量基準測試的原因。AgentX 保留了實際代理使用中的棘手部分：不斷增長的上下文、重複的工具呼叫，以及在任務中途分支出去的子代理。
如果這些早期數據經得起 SemiAnalysis 的審查，對基礎設施的影響將相當重大。同樣的已簽約兆瓦數，突然就能支援更多可計費的代理工作，而不必等待另一座變電站或互連設施。
在電力受限的市場中，更優秀的機櫃能比電網更快創造新的容量。

McKinsey 最新的《AI 現況》調查中有一項數據，應該會讓許多 SaaS 公司感到不安：
32% 的公司表示，由於程式撰寫代理可以在內部打造，他們已經跳過購買至少一項軟體產品或功能。
這並不代表公司停止購買軟體，而是代表「功能」層更難實現商業化。
如果內部團隊能在一兩天內重現一個狹窄的工作流程，供應商就需要用代理無法低成本複製的某些要素來證明訂閱模式的合理性：分銷管道、嵌入式資料、合規性、整合能力、網路效應，或掌握系統記錄來源。
在 McKinsey 的 AI 高績效企業中，將近一半已經因為這個原因跳過採購。
感覺程式撰寫代理可能會在壓縮工程人力之前很久，就先壓縮軟體功能的獨立價值。

垂直 AI 公司會在某個時點不再看起來像 API 客戶，而開始看起來像模型公司。
Harvey 在六個月內從每月約 1 萬億個 Token 增長至 14.5 萬億個 Token。現在，它正以 Kimi K3 為基礎，利用特定領域任務、專家回饋及專有工作流程資料，對自有法律模型進行後訓練。
Thomson Reuters 也正朝著相同方向發展，打造自有法律模型。
這感覺像是相當自然的演進。
在低用量時，前沿 API 顯然是最佳選擇。當每月達到 10 萬億個以上的 Token 時，模型選擇開始變成毛利率決策。而且，如果你已經擁有工作流程、專家回饋及失敗資料，那麼你手上正好具備專門化開放權重基礎模型所需的所有要素。
對於規模成長到足夠大的公司而言，「AI 包裝層」階段最終可能只是暫時的。
到了某個時點，垂直應用程式也會開始將模型層整合到內部。

大型語言模型有網際網路可供它們使用。具身 AI 沒有。
機器人需要大量的真實世界互動資料，而 ACE Robotics 估計，目前整個產業只有約 10 萬個有用的時數。
中國已經在嘗試製造這套資料集：訓練中心購買機器人，透過遠端操作讓它們完成真實任務，收集執行軌跡，然後再將這些資料回饋給機器人製造商。
因此，一些早期的人形機器人部署所做的不只是測試硬體。它們也正在生成下一代實體 AI 所需的訓練資料。
這讓具身 AI 的競賽看起來更像是一場搶先建立資料集的競賽。

能力提升的速度快得離譜，而硬體預算幾乎沒有大幅增加。
> Qwen3.5-27B 在 2 月的 Artificial Analysis 上得分為 35。
> Qwen3.6-27B 在 4 月將這項成績提升至 38。
> Qwen3.8-27B 現在已達到 52，同時基本維持在相同的 27B 參數規模內。
而它的代理效能如今已接近那些規模大得多、服務成本也高得多的模型。
這對我而言，比又一次排行榜洗牌重要得多。
多年來，更好的 AI 基本上意味著擴充其底層硬體規模。如今，能力提升的速度遠快於部署規模的增長。
如果接近前沿的代理能在單一工作站上運行，更多工作就能留在本地並以低成本完成，而前沿 API 則成為處理最困難任務的升級途徑。
這可能會讓每個 GPU 所能提供的能力，成為值得關注的重要基礎設施指標之一。