Khi hóa đơn AI mất kiểm soát, bộ định tuyến mô hình trở thành công cụ mới để doanh nghiệp giảm chi phí.

robot
Đang tạo bản tóm tắt

随着企业AI使用成本持续攀升,一类名为"模型路由器"的技术正迅速从边缘工具走向主流。这类系统能够根据任务复杂程度自动调配最合适的AI模型,在不显著牺牲质量的前提下大幅压缩开支,正在吸引从初创公司到大型企业的广泛关注。

模型路由器的核心逻辑在于:并非所有任务都需要最昂贵的前沿模型。总结邮件、检索文档等基础工作完全可以交由开源模型或旧版专有模型处理,成本仅为顶级模型的一小部分。Snowflake和Palo Alto Networks等企业已向The Information证实,通过为特定任务替换更廉价的模型,实现了可观的成本节约。

这一趋势正在催生真实的商业回报。建筑公司McCarthy Building表示,通过Palantir的路由工具Evolve,其当季AI token使用量较去年同期减少了60%。Palantir自身也披露,在一个具体案例中,该工具通过将任务从OpenAI的GPT-5.1切换至更小的GPT-5.4 Nano模型,将计算成本压缩了97%。

从手动选模型到自动路由:一个行业转折点

模型路由器的概念并非全新,但真正走入大众视野,是在OpenAI发布GPT-5之后。该模型在ChatGPT内部根据用户提示的复杂程度自动在不同模型之间切换,将路由逻辑内嵌于产品之中。此后,能够跨多家供应商进行模型调度的路由器开始快速普及。

目前市场上的路由器形态多样:既有独立产品,也有云计算服务商内置的功能模块,还有企业IT部门自行搭建的定制化方案。这些工具的共同目标是替代用户手动选择模型的操作,从而在降低成本的同时维持输出质量。

Databricks推出的Unity AI Gateway便是其中一例。该公司CEO Ali Ghodsi表示,这款工具"非常受欢迎",原因在于许多企业"正在以过快的速度耗尽预算"。Databricks在向客户推出该产品之前,已在内部使用了一段时间。

从初创公司到科技巨头全面入局

路由器赛道正在吸引不同规模的参与者。据The Information此前报道,今年4月,提供路由技术的初创公司OpenRouter完成了1.2亿美元新一轮融资,资本市场对这一方向的热情可见一斑。

OpenRouter的"自动路由器"根据用户对成本与质量的偏好(在0至10的刻度上自行设定)来决定调用哪个模型。数据显示,该路由器约三分之一的时间会选择谷歌相对廉价的Gemini 2.5 Flash Lite,而调用OpenAI更强大的GPT-5.5的比例仅约10%。OpenRouter的自动路由器底层由初创公司Not Diamond提供支持,后者专注于为AI编程智能体开发路由系统。

日本AI实验室Sakana AI近期发布了一套基于路由器的多模型协同系统。该系统在测试中将数学问题主要分配给OpenAI的GPT-5.5,将科学问题分配给谷歌的Gemini,理由是系统判断这两个模型在各自领域优于其他选项。Sakana AI称,该系统整体表现在编程、工程、科学任务和推理等基准测试上与Anthropic的Fable 5和Mythos Preview模型"并驾齐驱"。

AI编程应用Cognition本周也发布了新路由器,利用其内部基准测试识别不同智能体的相对优势,并引入一个"sidekick"智能体处理较简单的任务。Cognition表示,该路由器在某编程基准测试上达到了Fable 5的得分水平,成本却低了35%。

DIY路由,低成本方案同样奏效

并非所有企业都需要购买专业路由产品。开发者可以使用Claude Code等AI编程智能体自行搭建路由器,甚至直接让一个AI模型来决定哪个模型最适合处理某个特定查询。

Arcee AI负责AI智能体工作的Hunter Bown表示,他习惯使用DeepSeek V4 Flash来进行模型选择,原因是其成本低廉。他的做法是向DeepSeek提供一份模型列表,让其判断哪个模型最适合处理当前提示。

不过,这类"快速搭建"方案也有其局限性。路由器提供商Martian的创始人Shriyash Upadhyay指出,更复杂的路由器有时会展示出亮眼的基准测试成绩,但实际表现未必与之相符。他还提到,即便是更精密的路由器,仅凭用户的第一条提示来预测最佳模型也颇具难度。

Upadhyay表示,模型迭代速度快、能力差异持续变化,使得路由决策愈发复杂。"各家公司没有关于所有不同任务的无限数据,因此你必须真正深入模型内部,弄清楚这些模型擅长什么。"为此,Martian在做路由决策时,不仅参考模型的输出结果,还会考量构成这些模型的内部计算过程。

成本压力持续,路由器需求料将扩大

企业对AI成本的焦虑并非短期现象。随着员工对高级AI模型的使用量(即"tokenmaxxing"现象)持续增加,管理层对AI支出的审视也在加强。这一背景为模型路由器提供了持续的需求驱动力。

Palantir的Evolve工具在路由功能之外,还能根据所选模型自动调整提示内容,并防止请求被重复发送给模型——后者是导致超额收费的常见原因之一。McCarthy Building的案例表明,通过优化提示结构,企业可以在使用前沿模型时消耗更少的token,同时获得相同的输出结果。

对于投资者而言,模型路由器赛道的升温意味着:一方面,OpenRouter等专注路由技术的初创公司正在获得资本青睐;另一方面,Databricks、Palantir等将路由功能整合进企业AI平台的公司,也在以此强化其产品竞争力。随着AI基础设施支出持续扩张,帮助企业控制这一支出的工具层,正在成为不可忽视的新兴市场。

风险提示及免责条款

        市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim