Коли рахунки AI виходять з-під контролю, маршрутизатор моделей стає новим улюбленцем для зниження витрат підприємств.

Оскільки вартість використання ШІ для підприємств продовжує зростати, технологія під назвою "маршрутизатор моделей" швидко переходить від периферійного інструменту до мейнстріму. Такі системи автоматично підбирають найбільш відповідну модель ШІ залежно від складності завдання, значно скорочуючи витрати без істотної втрати якості, і привертають увагу як стартапів, так і великих підприємств.

Основа маршрутизатора моделей полягає в тому, що не всі завдання потребують найдорожчих передових моделей. Базові роботи, як-от підсумовування електронних листів або пошук документів, можна виконувати за допомогою моделей з відкритим кодом або старих пропрієтарних моделей, вартість яких становить лише невелику частку від топових моделей. Такі компанії, як Snowflake і Palo Alto Networks, підтвердили The Information, що завдяки заміні дорожчих моделей на дешевші для конкретних завдань вони досягли значної економії коштів.

Ця тенденція приносить реальні бізнес-результати. Будівельна компанія McCarthy Building повідомила, що завдяки інструменту маршрутизації Evolve від Palantir її квартальне використання токенів ШІ зменшилося на 60% порівняно з аналогічним періодом минулого року. Сам Palantir розкрив, що в одному конкретному випадку цей інструмент скоротив витрати на обчислення на 97%, переключивши завдання з GPT-5.1 від OpenAI на меншу модель GPT-5.4 Nano.

Від ручного вибору моделі до автоматичного маршрутизації: поворотний момент у галузі

Концепція маршрутизатора моделей не нова, але справді потрапила до масової аудиторії після випуску OpenAI GPT-5. Ця модель автоматично перемикається між різними моделями всередині ChatGPT залежно від складності підказки користувача, вбудовуючи логіку маршрутизації в сам продукт. Після цього маршрутизатори, здатні координувати моделі від різних постачальників, почали швидко поширюватися.

Наразі на ринку представлені різноманітні форми маршрутизаторів: як окремі продукти, так і вбудовані функціональні модулі від постачальників хмарних послуг, а також кастомні рішення, створені ІТ-відділами підприємств. Спільна мета цих інструментів — замінити ручний вибір моделі користувачем, знижуючи витрати та зберігаючи якість виведення.

Одним із прикладів є Unity AI Gateway від Databricks. Генеральний директор компанії Алі Годсі зазначив, що цей інструмент "дуже популярний", оскільки багато підприємств "вичерпують бюджет надто швидко". Databricks використовувала цей продукт внутрішньо протягом деякого часу, перш ніж запустити його для клієнтів.

Від стартапів до технологічних гігантів: повне залучення

Сфера маршрутизаторів приваблює учасників різного масштабу. Як раніше повідомляло The Information, у квітні цього року стартап OpenRouter, який пропонує технологію маршрутизації, завершив новий раунд фінансування на суму 120 мільйонів доларів, що свідчить про ентузіазм ринку капіталу в цьому напрямку.

"Автоматичний маршрутизатор" OpenRouter визначає, яку модель викликати, на основі вподобань користувача щодо вартості та якості (встановлюваних за шкалою від 0 до 10). Дані показують, що приблизно в третині випадків маршрутизатор обирає відносно дешеву Gemini 2.5 Flash Lite від Google, тоді як частка викликів потужнішої GPT-5.5 від OpenAI становить лише близько 10%. Автоматичний маршрутизатор OpenRouter працює на основі технології стартапу Not Diamond, який спеціалізується на розробці систем маршрутизації для агентів програмування ШІ.

Японська лабораторія ШІ Sakana AI нещодавно представила багатомодельну спільну систему на основі маршрутизатора. У тестах система призначала математичні задачі переважно GPT-5.5 від OpenAI, а наукові — Gemini від Google, оскільки система визначила, що ці дві моделі перевершують інші варіанти у відповідних сферах. Sakana AI стверджує, що загальна продуктивність системи в тестах програмування, інженерії, наукових завдань і міркувань "йде нарівні" з моделями Fable 5 і Mythos Preview від Anthropic.

Цього тижня додаток для програмування ШІ Cognition також випустив новий маршрутизатор, який використовує внутрішні бенчмарки для визначення відносних переваг різних агентів і вводить "помічник" агент для обробки простіших завдань. Cognition заявляє, що цей маршрутизатор досяг показників Fable 5 у певному тесті програмування, але з витратами на 35% нижчими.

Маршрутизація своїми руками: дешеві рішення також працюють

Не всім підприємствам потрібно купувати професійні продукти маршрутизації. Розробники можуть створити власний маршрутизатор за допомогою агентів програмування ШІ, таких як Claude Code, або навіть доручити одній моделі ШІ вирішувати, яка модель найкраще підходить для конкретного запиту.

Хантер Боун, який курирує роботу агентів ШІ в Arcee AI, сказав, що зазвичай використовує DeepSeek V4 Flash для вибору моделі через її низьку вартість. Його підхід полягає в тому, щоб надати DeepSeek список моделей і дозволити їй визначити, яка з них найкраще підходить для поточної підказки.

Однак такі "швидкі" рішення мають обмеження. Шріяш Упадх'яй, засновник постачальника маршрутизаторів Martian, зазначив, що складніші маршрутизатори іноді демонструють блискучі результати в бенчмарках, але на практиці можуть не відповідати їм. Він також зауважив, що навіть для більш досконалих маршрутизаторів досить складно передбачити найкращу модель, ґрунтуючись лише на першій підказці користувача.

Упадх'яй зазначив, що швидкі оновлення моделей і постійні зміни в їхніх можливостях роблять рішення про маршрутизацію дедалі складнішим. "Компанії не мають безмежних даних про всі різні завдання, тому вам потрібно дійсно зазирнути всередину моделей, щоб зрозуміти, у чому вони сильні." Щоб це зробити, Martian під час прийняття рішень про маршрутизацію враховує не лише вихідні дані моделей, а й внутрішні обчислювальні процеси, з яких вони складаються.

Тиск витрат триває, попит на маршрутизатори, ймовірно, зросте

Занепокоєння підприємств щодо витрат на ШІ не є короткостроковим явищем. Оскільки співробітники все більше використовують передові моделі ШІ (явище, відоме як "tokenmaxxing"), керівництво посилює контроль над витратами на ШІ. Це створює постійний попит на маршрутизатори моделей.

Інструмент Evolve від Palantir, крім функції маршрутизації, також автоматично налаштовує підказки відповідно до обраної моделі та запобігає повторному надсиланню запитів до моделей — поширеній причині додаткових витрат. Приклад McCarthy Building показує, що шляхом оптимізації структури підказок підприємства можуть використовувати менше токенів, отримуючи ті самі результати з передових моделей.

Для інвесторів зростання інтересу до сфери маршрутизаторів моделей означає: з одного боку, стартапи, що спеціалізуються на технології маршрутизації, як OpenRouter, приваблюють капітал; з іншого боку, компанії, які інтегрують функції маршрутизації у свої корпоративні платформи ШІ, як Databricks і Palantir, зміцнюють конкурентоспроможність своїх продуктів. Оскільки витрати на інфраструктуру ШІ продовжують зростати, шар інструментів, які допомагають компаніям контролювати ці витрати, стає новим ринком, який не можна ігнорувати.

Попередження про ризики та відмова від відповідальності

        Ринок пов'язаний з ризиками, тому інвестування вимагає обережності. Ця стаття не є інвестиційною порадою та не враховує особливі інвестиційні цілі, фінансовий стан або потреби окремих користувачів. Користувачі повинні враховувати, чи відповідають будь-які погляди, думки або висновки в цій статті їхній конкретній ситуації. Інвестуючи на основі цього, ви берете на себе відповідальність.