Когда счета за ИИ выходят из-под контроля, маршрутизатор моделей становится новым фаворитом для снижения затрат предприятий.

По мере того как затраты предприятий на использование ИИ продолжают расти, технология под названием «маршрутизатор моделей» быстро переходит из нишевого инструмента в мейнстрим. Такие системы автоматически назначают наиболее подходящую модель ИИ в зависимости от сложности задачи, значительно сокращая расходы без существенного снижения качества, привлекая внимание от стартапов до крупных корпораций.

Основная логика маршрутизатора моделей заключается в том, что не все задачи требуют самых дорогих передовых моделей. Базовые задачи, такие как обобщение писем или поиск документов, вполне могут выполняться моделями с открытым исходным кодом или устаревшими проприетарными моделями по цене, составляющей лишь малую часть стоимости топовых моделей. Такие компании, как Snowflake и Palo Alto Networks, подтвердили The Information, что замена на более дешёвые модели для конкретных задач позволила добиться значительной экономии средств.

Эта тенденция уже приносит реальную коммерческую отдачу. Строительная компания McCarthy Building сообщила, что благодаря инструменту маршрутизации Palantir Evolve их квартальное использование токенов ИИ сократилось на 60% по сравнению с аналогичным периодом прошлого года. Сама Palantir также раскрыла, что в одном конкретном случае этот инструмент, переключив задачу с OpenAI GPT-5.1 на более компактную GPT-5.4 Nano, сократил вычислительные затраты на 97%.

От ручного выбора моделей к автоматической маршрутизации: поворотный момент в отрасли

Концепция маршрутизатора моделей не нова, но по-настоящему в поле зрения широкой публики она попала после выпуска OpenAI модели GPT-5. Эта модель внутри ChatGPT автоматически переключается между разными моделями в зависимости от сложности запроса пользователя, встраивая логику маршрутизации в сам продукт. После этого маршрутизаторы, способные распределять запросы между несколькими поставщиками, начали быстро распространяться.

Сегодня на рынке представлены разнообразные формы маршрутизаторов: от отдельных продуктов до встроенных модулей облачных сервисов и кастомных решений, создаваемых ИТ-отделами предприятий. Общая цель этих инструментов — заменить ручной выбор модели пользователем, одновременно снижая затраты и поддерживая качество вывода.

Примером является Unity AI Gateway от Databricks. Генеральный директор компании Али Годси заявил, что этот инструмент «очень популярен», поскольку многие предприятия «слишком быстро исчерпывают бюджеты». Перед запуском продукта для клиентов Databricks использовала его внутри компании в течение некоторого времени.

От стартапов до технологических гигантов: полное вовлечение в игру

Трасса маршрутизаторов привлекает участников разного масштаба. Как ранее сообщало The Information, в апреле этого года стартап OpenRouter, предоставляющий технологии маршрутизации, завершил новый раунд финансирования на $120 млн, что свидетельствует о высоком интересе рынка к этому направлению.

«Автоматический маршрутизатор» OpenRouter решает, какую модель вызывать, на основе предпочтений пользователя по стоимости и качеству (задаваемых по шкале от 0 до 10). Данные показывают, что примерно в трети случаев маршрутизатор выбирает относительно недорогую Gemini 2.5 Flash Lite от Google, тогда как вызов более мощной GPT-5.5 от OpenAI составляет лишь около 10%. Автоматический маршрутизатор OpenRouter работает на базе стартапа Not Diamond, который специализируется на разработке систем маршрутизации для ИИ-агентов программирования.

Японская ИИ-лаборатория Sakana AI недавно выпустила многомодельную систему совместной работы на основе маршрутизатора. В тестах она назначала математические задачи в основном OpenAI GPT-5.5, а научные — Google Gemini, объясняя это тем, что система определила эти две модели как лучшие в своих областях по сравнению с другими вариантами. Sakana AI утверждает, что система в целом «идет вровень» с моделями Anthropic Fable 5 и Mythos Preview в бенчмарках по программированию, инженерии, научным задачам и рассуждениям.

На этой неделе ИИ-приложение для программирования Cognition также выпустило новый маршрутизатор, который использует внутренние бенчмарки для выявления относительных преимуществ разных агентов и включает «помощника» (sidekick) для обработки более простых задач. Cognition заявляет, что маршрутизатор достиг уровня Fable 5 в одном бенчмарке по программированию, но при этом был на 35% дешевле.

Маршрутизация своими руками: недорогие решения тоже работают

Не всем предприятиям нужно покупать специализированные продукты для маршрутизации. Разработчики могут построить собственный маршрутизатор, используя ИИ-агентов программирования, таких как Claude Code, или даже попросить одну ИИ-модель решить, какая модель лучше всего подходит для конкретного запроса.

Хантер Боун, отвечающий за ИИ-агентов в Arcee AI, говорит, что он привык использовать DeepSeek V4 Flash для выбора модели из-за его низкой стоимости. Он предоставляет DeepSeek список моделей и просит определить, какая из них лучше всего подходит для текущего запроса.

Однако такие «быстрые» решения имеют свои ограничения. Шрияш Упадхьяй, основатель поставщика маршрутизаторов Martian, отмечает, что более сложные маршрутизаторы иногда показывают отличные результаты в бенчмарках, но на практике не всегда им соответствуют. Он также говорит, что даже более сложным маршрутизаторам трудно предсказать лучшую модель, основываясь только на первом запросе пользователя.

Упадхьяй заявляет, что высокая скорость итераций моделей и постоянное изменение их возможностей делают решения по маршрутизации всё более сложными. «У компаний нет бесконечных данных по всем различным задачам, поэтому нужно действительно заглядывать внутрь моделей, чтобы понять, в чём они сильны». Для этого Martian при принятии решений по маршрутизации учитывает не только выходные данные моделей, но и внутренние вычислительные процессы, из которых они состоят.

Давление затрат сохраняется, спрос на маршрутизаторы, как ожидается, вырастет

Беспокойство предприятий по поводу затрат на ИИ — не краткосрочное явление. По мере того как сотрудники всё активнее используют передовые модели ИИ (явление «tokenmaxxing»), руководство усиливает контроль над расходами на ИИ. Этот фон обеспечивает постоянный драйвер спроса на маршрутизаторы моделей.

Инструмент Palantir Evolve помимо функции маршрутизации также автоматически корректирует промпты в зависимости от выбранной модели и предотвращает дублирование запросов к модели — одну из частых причин завышенных счетов. Пример McCarthy Building показывает, что оптимизация структуры промптов позволяет потреблять меньше токенов при использовании передовых моделей, получая при этом тот же результат.

Для инвесторов нагрев трассы маршрутизаторов означает: с одной стороны, стартапы, специализирующиеся на технологиях маршрутизации, такие как OpenRouter, получают внимание капитала; с другой стороны, компании, интегрирующие функции маршрутизации в свои корпоративные ИИ-платформы, такие как Databricks и Palantir, укрепляют свою конкурентоспособность. По мере расширения расходов на инфраструктуру ИИ инструментальный слой, помогающий предприятиям контролировать эти расходы, становится заметным новым рынком.

Предупреждение о рисках и отказ от ответственности

        Рынок сопряжён с рисками, инвестиции требуют осторожности. Данная статья не является персональной инвестиционной рекомендацией и не учитывает индивидуальные инвестиционные цели, финансовое положение или потребности конкретного пользователя. Пользователям следует оценивать, соответствуют ли любые мнения, точки зрения или выводы в данной статье их конкретной ситуации. Инвестируя на основе этого, вы берёте на себя всю ответственность.