2 年前,Google 每月處理 9.7 萬億個 AI token。
如今已超過 3,200 萬億個。這是增加了 330 倍。
由於沒有可靠的全球統計數字,因此 Google 的數字最好視為已公開揭露的下限。
即使成長速度放緩至每年 2 倍,僅 Google 一家到 2030 年每月就會達到 51,000 萬億個 token。
而這項工作負載將與如今有人開啟聊天機器人的情況大不相同。長時間運作的代理程式將保留上下文、將工作拆分為子任務、呼叫其他模型、重試失敗的操作,並相互驗證工作成果。一項指令就可能讓數十個模型持續運作數小時。
想像一家擁有 10,000 名員工的公司,每位員工在 8 小時的工作日中監督 20 個代理程式。在員工人數不變的情況下,這每天會產生 160 萬個代理程式工時的推理量。
到 2030 年,對全球各地的企業而言,運算成本將遠高於薪資,成為核心營運預算的一大部分。