torygreen

vip
幣齡 3年
最高等級 0
用戶暫無簡介
能力提升的速度快得離譜,而硬體預算幾乎沒有大幅增加。
> Qwen3.5-27B 在 2 月的 Artificial Analysis 上得分為 35。
> Qwen3.6-27B 在 4 月將這項成績提升至 38。
> Qwen3.8-27B 現在已達到 52,同時基本維持在相同的 27B 參數規模內。
而它的代理效能如今已接近那些規模大得多、服務成本也高得多的模型。
這對我而言,比又一次排行榜洗牌重要得多。
多年來,更好的 AI 基本上意味著擴充其底層硬體規模。如今,能力提升的速度遠快於部署規模的增長。
如果接近前沿的代理能在單一工作站上運行,更多工作就能留在本地並以低成本完成,而前沿 API 則成為處理最困難任務的升級途徑。
這可能會讓每個 GPU 所能提供的能力,成為值得關注的重要基礎設施指標之一。
查看原文
post-image
post-image
  • 打賞
  • 回覆
  • 轉發
  • 分享
AI 網路開始呈現出自身小型資本支出週期的樣貌。
@Cisco 以超大規模雲端業者 AI 基礎設施訂單 93 億美元結束 FY2026,並預期 AI 基礎設施營收明年將從約$4B 增至 75 億美元。Arista 剛實現 37.7% 的 YoY 成長,達到 30.4 億美元
我認為有趣的轉變在於,邊際 AI 資金開始流向何處。
建置初期主要著重於讓盡可能多的加速器上線。一旦叢集規模足夠大,如何讓這些 GPU 持續獲取資料並高效地彼此通訊,就會成為經濟效益中更重要的一環。
一部昂貴的 GPU 因網路無法跟上而閒置,基本上就是浪費掉的資本支出。
如果未來幾年的 AI 基礎設施支出,越來越取決於你能從已安裝的 GPU 中提取多少有效運算能力,而不只是你還能再買多少 GPU,我不會感到意外。
CSCO-0.94%
查看原文
  • 打賞
  • 回覆
  • 1
  • 分享
幾年前,超大規模雲端服務商約占 S&P 500 資本支出的 16%。明年,其中五家的支出可能與其餘 495 家公司加總後一樣多。
Microsoft、Amazon、Alphabet、Meta、Oracle
BofA 目前估計,這五家公司在 2027 年的支出約為 1.07 萬億美元,而該指數中的其他所有公司約為 1.06 萬億美元。
這種集中程度的影響已開始遠超 GPU。
AI 的規模已大到運算需求開始帶動實體經濟。Goldman 估計,AI 已占美國設備投資約 15%,而 BloombergNEF 正追蹤 23.1 GW 的在建資料中心容量。
如今,少數超大規模雲端服務商的規劃決策,可能為其他所有人帶來電力、建築和網路領域非常實際的需求衝擊。
這讓我不禁思考,超大規模雲端服務商對 AI 的預測是否正悄悄成為自身的總體經濟變數。如果五家公司要負責如此多的新增投資,那麼它們對所需運算量預期的些微變化,都可能在整個供應鏈中引發連鎖反應。
MSFT0.53%
AMZN2.46%
META0.46%
ORCL0.80%
查看原文
post-image
  • 打賞
  • 回覆
  • 轉發
  • 分享
網路上的代理型流量增長速度非常快,Cloudflare 因此專門為 AI 代理打造了一款瀏覽器(Kitesurf)。
代理基本上承襲了約 30 年來為盯著螢幕的人類所做的瀏覽器設計決策,而當你同時執行數千個工作階段時,其中許多都會變成不必要的額外負擔。
AI 驅動的網路流量在 2025 年期間幾乎成長了 3 倍,而來自 AI 代理與代理型瀏覽器的流量年增長了 7,851%。
以目前的估計來看,代理如今產生的網路請求約占 57%。
Kitesurf 的優點在於,它移除了分頁、擴充功能、主題、持久狀態與像素級精準渲染等功能,而這些改變帶來的差異非常顯著
• 螢幕截圖所需的 CPU 減少 3.1 倍
• HTML 擷取所需的 CPU 減少 3.8 倍
• 螢幕截圖所需的記憶體減少 4.7 倍
• HTML 擷取所需的記憶體減少 7 倍
實際經過時間約慢了 1.7-1.8 倍,但對於持續大規模運行的代理而言,運算與記憶體效率可能重要得多。
如果瀏覽器只是網路技術堆疊中第一個針對機器而非人類重新打造的部分,我一點也不會感到意外。
NET-3.13%
查看原文
post-image
  • 打賞
  • 回覆
  • 轉發
  • 分享
記憶體短缺日益嚴重,現在甚至在產品出貨前就開始重新設計 GPU 格局,真是瘋狂。
@nvidia 現在正為 Rubin Ultra 測試較低堆疊層數的 HBM 方案。原本的 12-Hi HBM4e 設計可達到 14–16 Gbps,而新的最佳化 HBM4 路線可能會落在 11–12 Gbps。
其吸引力在於供應量。每個加速器使用較少的 DRAM 層數,就能讓相同的晶圓供應量分攤到更多 GPU 上。
但模型不會因為記憶體堆疊縮減而縮小。一旦必須分散到更多加速器上,網路與電力就會承擔代價。
預計 HBM 位元出貨量在 2027 年將成長 50–60%,但仍會無法滿足需求。因此,這項短缺將會影響圍繞其打造的叢集架構與營運成本。
NVDA-0.97%
查看原文
  • 打賞
  • 回覆
  • 轉發
  • 分享
大型科技公司的 AI 基礎設施承諾,遠遠超出了我們通常看到的資本支出數字。他們已承諾未來支付約 1.09 萬億美元的租賃款項,主要用於 AI 資料中心。
目前只有約 2850 億美元列為租賃負債,因為許多合約要等到設施開始營運後才會被確認。
真正的風險在於期限錯配。有些租賃期限長達 15 至 30 年,但晶片、模型和客戶需求可能在幾個產品週期內就會改變。運算需求可能持續成長,但個別設施和硬體配置的價值下降速度,可能遠快於為其提供融資的合約。
容量規劃正逐漸成為 AI 基礎設施中最棘手的問題之一。
查看原文
post-image
  • 打賞
  • 回覆
  • 轉發
  • 分享
資料中心的能源需求增長速度如此之快,以至於電網無法跟上,而各家公司現在正用卡車運來燃氣渦輪機來繞過這個問題。
APR Energy 剛推出八個行動式機組,1.1GW,目標直指資料中心需求。
想想這意味著什麼。拖車上的渦輪機在各方面都比電網連接更糟,只有一點例外:你可以在幾個月內讓它運轉,而不是等上幾年。只有當等待時間正是扼殺你的因素時,支付這筆溢價才有意義,而目前在美國許多州,等待時間超過 5 年。
因此,建設不再等待電網,而是自帶電力。這就是瓶頸以實體形式呈現的樣子:發電機被運到場地上,因為目前沒有其他方式能取得這些兆瓦電力。
晶片從來都不是難點。電力才是,而當短缺嚴重到必須在現場燃燒天然氣來繞過它時,情況看起來就是這樣。
APR0.65%
查看原文
post-image
  • 打賞
  • 回覆
  • 轉發
  • 分享
現在在你自己的硬體上運行 DeepSeek V4 Flash 0731 真的做得到,但它要花多少錢、值不值得很取決於你是誰。
實際用來跑它的機器:
> 256GB M3 Ultra Mac Studio(~7-9 千美元):可容納 4-bit 版本並留有餘裕,乾淨的一台盒子就搞定。
> 512GB M3 Ultra(~1 萬美元以上,如果你找得到):能很舒適地跑近乎無損的版本。
> 2x H200 或 4x A100 伺服器:在 1M context 下可完整 checkpoint,但這時你已經稍微摸到 datacenter 的花費了。
它技術上也能在 128GB 上跑,但只能用重度 3-bit 壓縮,會把畫質壓低。
所以,約 7-10 千美元買一套認真的單機配置,小團隊就能一次買斷自行擁有。
老實說,輕度使用時用 API 會更便宜。DeepSeek 的託管價格低到幾乎不需要考慮,只有在超大、持續的用量下,一台 $9k 等級的設備才會划算。就每月只跑幾百萬 M tokens 來說,用 API 仍然更好。
但擁有它的理由不在於成本,而在於 API 給不了你的所有東西。你的資料永遠不會離開機器。無論你推得多用力,花費都是扁平、可預期的。沒有速率限制,不會出現模型被你用到一半就被棄用的情況,也不需要把敏感程式碼送到歸另一個國家司法管轄的伺服器上。
對律師事務所、醫院、銀行,或任何無法把
DEEPSEEK-0.13%
查看原文
post-image
  • 打賞
  • 1
  • 轉發
  • 分享
GateUser-3e640a4c:
这是国产的那个 DeepSeek 吗?
晶片供應商。基礎設施借貸方。也是其自身客戶的權益投資者。Nvidia 現在同時身兼三者,而且本月為了同時戴著三頂帽子所付出的代價,觸及 $750B
> $250B ,用來承接 OpenAI 俄亥俄州租約的後盾。
> $500B 與 SK Group 在記憶體領域糾纏在一起。
> $5B 進入 SSI,這是一家沒有產品的公司。
> $1B 進入 Naver。持有 Nebius 的股份。晶片流向它租回給自己的德州設施。
Nvidia 幾乎已經創造出的循環是:資金用來出資客戶 -> 客戶購買 Nvidia 晶片 -> Nvidia 入帳營收 -> Nvidia 資助下一位。對他們而言,供需正在崩塌到同一張資產負債表上。
這是一家公司在同一時間於整個 AI 堆疊上,以供應商、借貸方與投資者的身分運作。
那些以定價違約風險維生的人,比起權益派更早注意到了。5 年期 CDS 的創紀錄 82bps,這是合約自開始交易以來最大的單日波動。
而緊張主要在於,集中式模式變得如此資本饑渴,以至於現在必須自己「生產」需求,才能持續擴張。當運算能力充裕且便宜時,你不會去承接自己客戶的風險;只有在要讓飛輪繼續轉動的唯一方法,就是成為整個市場的最後貸款者時,你才會這麼做。
全球大量 GPU 已經處於未充分使用,因為沒有人在協調把它們變成真正的供給,而 Nvidia 的答案將會為更
查看原文
post-image
  • 打賞
  • 回覆
  • 轉發
  • 分享
所以我們現在已經跨過全球資料中心資本支出上限的 ~$1T ,並朝向 2030 年的 1.7 萬億美元前進。較 2024 年的 $455B 為高。
這幾乎是在六年內達到 4 倍。四家美國大型雲服務商在這段期間大致翻倍。其他所有人——新興雲端公司、AI 實驗室、主權計畫——才是真正讓曲線彎折的力量,平均每年成長約 39%。到了 2030 年,Amazon、Google、Meta 和 Microsoft 只佔其中大約一半。
兩年前,建置基本上就是四家公司。現在則是一整片領域,這些資金也在轉移到「租用運算能力」的層級,而不是囤積它。
$1T 這個指標出現的時間也比 Dell'Oro 預期更早,所以如果 1.7 萬億美元的估計被超越,我也不會感到意外。這裡每一份預測都一直撞上的同一件事是:需求出現得比模型預測更快,而且數字會被上修,而不是下修
AMZN2.46%
META0.46%
MSFT0.53%
查看原文
  • 打賞
  • 回覆
  • 轉發
  • 分享
2026 不是封閉實驗室計畫要落幕的年份,而那個封閉前沿模型能收費的空間,在 @Kimi_Moonshot 的 K3 之後,如今寬度大約只有三個百分點
K3 剛剛以能力表現乾淨俐落地超越 Opus 4.8,且每個任務的價格只有一半,權重將在數天內公開。只有 Fable 5 和 GPT-5.6 Sol 目前仍位居其上。那條線以下的一切現在都是開放地帶:任何人都能以硬體成本提供模型服務,沒有研發利潤可用來回收。
這就是每一次封閉發布的全新算法。落在開放前沿之上,你就能為落差定價。落在或低於前沿,就等於在收取市場其實以成本價就能取得的東西的加價。第二名過去是 AI 的一門生意,但現在它只是免費下載。
而那條帶狀區域持續變窄。去年,開放模型落後約六到八個月。K3 將差距縮到大約一個世代之內,且 Qwen、GLM、DeepSeek 和 MiniMax 都排在它之後。
封閉實驗室不再只是彼此競逐最高點。他們正在以極快的速度競逐從下方迅速升起的底線。
查看原文
post-image
  • 打賞
  • 回覆
  • 轉發
  • 分享
.@nvidia 正在把 170,000 台 GPU 放到印尼的一座島上。該園區在 2 週前宣布,預計於 2027 年第 1 季上線,這個時間表在美國眼下幾乎不可能。
GPU 不是卡關點,Nvidia 正以營收分潤的方式提供其中的 170,000 台。真正稀缺的是:要在一個重要的時間軸內,把這些設備插到能運轉的地方。
美國的互連排隊在許多地區可長達 5 年以上。裝在用戶端(behind-the-meter)的燃氣渦輪機需要 18 個月。這個落差如今就是整個選址遊戲。
而在美國端,還有更多摩擦不斷被加入。僅在 Q1 就大約有 $130B 的產能被卡住或延後。弗吉尼亞州是地球上最大的資料中心市場,最近才又新增了每度電 0.011 美元的電力稅,粗略算就是 $100M /年,適用於 1 GW 的園區。
選址過去是房地產決策。現在則是電力採購決策,而且最快的答案正在外移到海外。
NVDA-0.97%
查看原文
post-image
  • 打賞
  • 回覆
  • 轉發
  • 分享
AI 熱潮的第一個犧牲者可能不是工作,而是每個人的電費,而且工廠正先遭殃。
> Belden Brick,俄亥俄州:每月的容量費用從 $1,600 上升到 $12,000。現在它正在給自己的發電廠定價,想要擺脫離網。
> Plaskolite,一家塑料製造商,從 $200K 到每年 $1.2M。
> 賓夕法尼亞州:工業用電在十二個月內上漲 31%。
> 俄亥俄州:上漲 26%。全國平均:7%。
所有這些的上游:PJM 的容量價格在 2 次拍賣中從 $28.92 -> $329.17,單位為每兆瓦日 =>11 倍。
電網自身的市場監測者表示,資料中心推動了 63% 的飆升,一年內達 93 億美元,並向其他所有人開立帳單。
沒有人投票要把美國的電力重新分配給推論(inference)。容量拍賣是自動完成的,而且它分不出工廠和資料中心。它只會競價給出最高出價者。
查看原文
  • 打賞
  • 回覆
  • 轉發
  • 分享
$130B 在資料中心專案中遭阻擋或延誤,發生在第一季。這與今年這一個季度就涵蓋了 2025 全年的情況相符。
75 個專案。反對團體在三個月內從 396 翻倍至 833,覆蓋 49 個州。年初前六週內提出 300+ 項法案,14 個州提出暫停(moratorium)提案,而紐約州議會剛通過一項一年期的暫停措施,針對任何超過 20MW 的事項。Gallup 顯示有 71% 的美國人反對在家附近設置資料中心;相較於大約半年前,這一比例上升。
與此同時,超大型雲端供應商(hyperscalers)計畫僅今年在資本支出(capex)上就花 $690B ,彷彿這些事都沒有發生。
以下是為什麼這是結構性的、而非循環性的:反對行動現在會在專案甚至尚未提出申請之前就動員起來。只要有資料中心的謠言,就足以引發有組織的抵抗。產業整體的供應預測假設許可只是例行公事,但它很快就變成了巨大的瓶頸。
電力原本應該是限制因素。結果發現,限制因素是分區(zoning)會議。
查看原文
post-image
  • 打賞
  • 回覆
  • 轉發
  • 分享