torygreen

.@ionet 10 月通过 OpenRouter 处理了约 4160 亿个令牌。
每天在分布式 GPU 网络中持续处理约 134 亿个令牌，才是真正考验架构的时候。
在混合硬件间进行路由、保持延迟可预测，并让用户感受不到故障，在流量如此持续不断时都变得重要得多。
总体而言，这是 ionet 非常出色的一个月，也让我们得以一窥网络在大得多的规模下可能呈现的样子。

同一款 B300 机架：在中国境外约 $600k ，在中国境内约 280 万美元。难怪中国实验室只在海外租用。
现在 Nvidia 告诉云服务商，至少 51% 的新增算力必须提供给非中国客户（据 FT 报道）。现有协议不受影响。
我比较担心的是那些需求完全依赖中国实验室的亚洲新云服务商。一家新加坡运营商已经表示，在美国以外很难找到非中国买家。如果他们无法为这些机架找到新租户，那就会有大量 GPU 同时寻找租户，我预计该地区的租赁价格会暴跌。
在亚洲买算力的好时机。

同一模型。同样的任务。词元减少 88%。
研究人员围绕 DeepSeek 智能体框架重构了循环，每项 HumanEval 任务的词元数从 9.6 万降至 1.16 万。解决的任务也更多了，解决率从 71% 提升至 86%。
智能体消耗的大量词元，都花在了每次工具调用后重新思考已经解决过的问题上。精简这部分后，成本就能降至原来的约八分之一，而且无需改动权重。
如果你根据当前每项任务的词元数来预测推理需求，那么这个数字中有很大一部分只是智能体框架效率低下所致。而智能体框架每个月都会被重写。

2月6日似乎是人类消耗的令牌数量超过智能体的最后一天，发生在 @OpenRouter 。
每周使用量从2025年1月的0.5万亿令牌增长到2026年9月的128.4万亿令牌。20个月增长约250倍。
我认为，第一项数据比大多数 AI 用户增长图表重要得多。
人类一天能使用多少 AI 有一个相当明确的上限。智能体可以整夜运行、反复重试、调用其他智能体，并以惊人的速度持续消耗算力。
一旦机器成为推理服务的主要客户，AI 需求的上限就会显得截然不同，而整个 AI 行业的经济格局也会变得相当疯狂。

美国投入 AI 的私人资本大约是中国的 23 倍。
与此同时，OpenRouter 上使用量最高的 5 个模型都是中国模型，处理了约 74 万亿个词元。
这种差距相当惊人。
美国实验室在资本竞赛中占据优势，但中国模型正通过开发者每天接触的技术栈部分不断普及：推理、智能体、编程工具和低成本 API 工作负载。
如果这种趋势持续累积，中国无需在支出上超过美国，也能获得影响力。它只需要让自己的模型支撑足够多的产品。

@OpenRouter 上近 90% 的智能体令牌都是缓存读取。
输出 + 推理仅约占 1%。
而智能体 API 密钥消耗的令牌已经是人工驱动 API 密钥的约 7 倍。
看看智能体实际的工作方式就明白了。每一步都会让系统提示、工具定义、文件、之前的工具调用 + 对话状态重新经过模型。
一个长期运行的智能体基本上会变成一个庞大的工作集，需要持续保持预热。
服务提供商也在快速适应。智能体流量的缓存率中位数从 1 月份的 44% 升至 9 月份的 85%。
这可能会让缓存局部性成为推理基础设施中一个出乎意料重要的环节。
如果一个智能体已经在某处预热了大量上下文，那么把下一个请求转到一块稍便宜的 GPU 上，实际上可能比让它留在原处成本更高。
分布式 GPU 网络最终可能需要在调度计算的同时调度状态：智能体的上下文已经存放在哪里、缓存有多热，然后再考虑价格 + 延迟。
真有意思，智能体经济中有这么大一部分最终可能会变成机器高效地反复读取自身。

AI 在第三季度拿下了全球风险投资资金的 64%。
$102B 占 1590 亿美元。
而不知为何，资金正变得越来越集中。
27 家公司完成了 10 亿美元以上的融资，吸收了全球融资总额的大约三分之一。1 亿美元以上的融资轮次几乎占晚期融资的 90%。
前沿 AI 开始变得不那么像普通的软件创业投资，更像前期成本高得离谱的重工业。
算力、数据中心、训练、人才和分发都需要在真正弄清利润率最终会如何之前获得融资，这简直离谱。
所以，AI 初创公司可以继续增加数千家，但真正有能力在前沿领域训练模型的公司数量却在不断减少。
我们现在身处的市场结构有点奇怪。
应用层越来越容易进入，而底层的前沿领域每个季度都变得更加资本密集。
到了现在，模型竞争既是资产负债表之争，也是研究之争。

AI 最终可能会迫使企业停止依赖非正式经验运转。
代理无法绕开人类不知为何会做的那些事：被困在会议中的决策、存在某个人脑海里的优先事项、每个人都知道但没人写下来的奇怪例外。
@AnthropicAI 已经开始遇到这个问题。他们每一名人类员工工时大约对应 6 个代理工时，但这些代理大部分互动时间仍在等待人类。
员工们正在制定常设指令、监控器、代理审查员，甚至代理幕僚长，只是为了让机器层与公司实际正在做的事情保持同步。
随着代理劳动力不断增长，公司越来越多的部分必须变得明确、结构化并且机器可读，才能让所有人都指向同一个现实。
这可能会在未来几年彻底重塑管理方式。
明确的所有权、清晰的状态、书面决策、更少的隐形交接。组织本身开始针对机器同事进行优化。

如今价值 1 美元的 AI 能力，如果当前曲线保持不变，一年后将降至约 8 美分。
每季度便宜 47% 意味着固定能力的价格基本每约 100 天减半。
底层硬件的进步速度远没有这么快。
自 2023 年以来，AI 芯片性能/美元每年提升约 49%。经质量调整的模型能力正变得便宜约 13 倍。
因此，大部分压缩都发生在硅片之上：更好的架构、训练、量化、服务部署，以及残酷的实验室竞争。
而更便宜的智能几乎会立即被消耗。
@OpenRouter 曾在一段时间内将 Luna 定价削减约 90%，代币交易量跃升 13.8 倍。即使折扣结束后，仍有相当一部分用户留了下来。
每次改进都会让智能变得更便宜，而更低的价格又会让新的工作负载变得值得运行。
能力持续贬值，而需求却不断扩张。

.@ionet 在 10 月前 13 天通过 @OpenRouter 已达到约 1650 亿个 token。
这已经是我们 7 月全部成果的约 1.8 倍。
如果当前速度保持不变，10 月的总量将达到 7 月总量的约 4 倍。
说实话，这比 GPU 总数更让我在意。
随着稀疏模型变得更好、服务栈变得更紧凑，每个已部署 GPU 的有效产出持续提升。因此，网络可以同时朝两个方向增长：更多硬件上线，以及从现有硬件中挤出更多工作量。
每个 GPU 服务的 token 数量，是判断网络本身是否真正变得更好的一个重要信号。

到 2032 年，当前的 AI 扩建测算需要大约 183 GW 的容量，并在 80% 利用率下以每计费 GPU 小时约 6.90 美元的价格获得收入。
这意味着必须让规模庞大的基础设施持续保持忙碌。
Van Nieuwerburgh 的基准情景假设资本基础约为 9.6 万亿美元、10% 的无杠杆回报率、50% 的经营现金流利润率，以及 IT 设备六年的使用寿命。
在这一设定下，系统需要每年获得 3.725 万亿美元的收入，约占预计美国 GDP 的 9.2%。
调整这些假设后，这一门槛将在 2.3 万亿美元至 6.7 万亿美元之间变动。
与此同时，模型的运行成本持续下降，推理技术栈不断改进，更多容量也在持续上线。
因此，真正的问题不是 AI 需求是否会变得庞大。
它很可能会。
问题在于，需求增长是否足够快，能否让约 183 GW 的容量保持高利用率，同时价格仍足以支撑约 9.6 万亿美元的资本结构。
AI 可以改变一切，而扩建中的部分项目仍可能陷入糟糕的经济状况。

.@ionet 在 10 月的第一周通过 @OpenRouter 处理的代币数量，几乎与整个 7 月一样多。
7 月约 920 亿个代币
10 月 1–7 日约 860 亿个
仅 10 月 7 日就有 209 亿个
同样的机器。
我最喜欢的是，这种流量是如何显现出来的。
近期大量流量正流经 MiMo、Gemma 和 Nemotron 等稀疏模型，其中每个代币仅触发模型的一小部分。再加上更好的批处理、缓存、路由和服务基础设施，同一 GPU 集群的经济效益会在你眼皮底下不断变化。
对于 @ionet 而言，等式两边都在持续改善：
推理需求正在快速增长，而每一次效率提升都能让同一个 GPU 网络承载更多需求。

Jev 可能是如今一个优秀 AI 创意如何快速商品化的完美例子。
它于 9 月 15 日上线。两周内，OpenAI、Databricks + Cloudflare 就已经围绕相同的基础原语推出了产品。
Cloudflare 的 Clef-flash 甚至兼容 Jev，并声称中位延迟低约 13x。
所以，需求并不是问题所在。大家看到它奏效后，这个创意只是很容易被吸收。
感觉这里的护城河必须是反馈循环、专有数据 + 分发能力。
Jev 找到了这个品类。其他人几乎立即就跟了上来。

相同的 Deepseek 测试框架、相同的简短指令，而且：
Deepseek-v4-flash 在 BIABench 上得分 0.52。
Claude Opus 5 得分 0.65。
所以，约 50x 的额外支出，只换来在 16 个真实生物图像分析任务上高出 0.13 的得分。
而最棘手的尾部任务几乎没有改善。一些 3D + 时间序列任务在所有智能体上的得分都低于 0.19，而重复运行同一个模型带来的差异，可能比完全更换模型还大。
我可能会让便宜模型处理常规的大批量任务，然后将不确定的案例升级给人类或专用工具。
而在科学领域，一个你仍然需要验证的 4.53 美元答案，并不能真正算作一个 4.53 美元的答案。

Google 相较于其他前沿实验室，在 Argon 上拥有一个相当不公平的循环
他们拥有 Argon 底层的 TPUs，并且可以将模型直接投入目前每分钟已处理约 220 亿个 token 的 API 中。
这套配置相当令人印象深刻。
构建芯片 -> 训练模型 -> 将其投入惊人的分发体系 -> 将收益反馈到下一轮。
而且 Argon 已经在持续改进围绕自身的技术栈，通过将超过 80 万行代码从 C/C++ 迁移到 Rust，释放了数据中心 300+ TiB 的内存，并将一套量子计算例程的性能提升至比已发布基线高出 40%。
每一代 Gemini 都能越来越多地继承上一代帮助优化的基础设施
Argon 可能是我们在西方前沿实验室中见过的全栈优势的最佳/唯一版本。

.@AnthropicAI S-1 有点令人着迷，因为业务发展速度快得几乎让申报文件本身都跟不上。
2025 年收入约为 46 亿美元。仅 2026 年第二季度就达到约 115 亿美元，而到 7 月底，ARR 据报道已超过 650 亿美元。
接着你会看到，风险因素长达约 80 页，而实际业务部分只有 48 页；披露显示，在抽样的一周内，AI 研究算力中约 6% 用于安全工作；同时还相当直白地承认，持续 + 重叠的模型发布基本上是保持前沿地位的必要条件。
感觉公开市场可能会迫使 AI 行业实现我们迄今尚未真正拥有的透明度。
收入增长、算力分配、安全支出、重大事故、发布暂停……所有这些都开始成为投资者级别的信息，而不再只是零散的博客文章。
真希望每家前沿实验室都能用同一套评分标准进行衡量。

AI 采用率今年几乎没有增长。消费者支出仍从 ~$12B → 400 亿美元。
这比又一个用户数量里程碑有趣得多。
美国采用率仅从 61% → 64%。全球用户增长了约 11%。
现有用户只是开始让 AI 更多地介入他们的生活。
41% 的人尝试过智能体。32% 的人已经允许 AI 在未经最终批准的情况下采取行动。而 92% 的智能体用户正在为 AI 付费。
因此，消费级 AI 的下一阶段可能不需要再有十亿人发现聊天机器人。
它可以来自已经在这里的人从：
“回答这个问题”
转向
“处理这件事。”
这意味着每位用户投入的时间、计算资源 + 经济活动量完全不同。