Публікація

Модель маршрутизації, створена 24-річним китайцем, яка розподіляє завдання між Claude і GPT, цінніша за 4 мільйони переглядів. Маршрутизація між кількома моделями — не новина. Новина в тому, що хтось справді перетворив її на продукт. Минулого тижня я вручну перемикався між кількома моделями — аж поки це не почало мене дратувати. Відповідь криється в деталях. Б’юся об заклад: протягом місяця Anthropic або OpenAI самі випустять офіційний рівень маршрутизації. Повернуся на вихідних і перевірю.



Якщо конкретніше, ця модель маршрутизації працює як диспетчер для великих мовних моделей: замість того, щоб змушувати одну модель виконувати всі завдання, вона розподіляє їх відповідно до типу, вартості, затримки та вимог до якості. Наприклад, підсумовування довгих текстів і складні міркування можна доручити Claude, а генерацію коду, структурований вивід і виклики інструментів — GPT. За високого паралельного навантаження система надає перевагу дешевшим моделям, а для важливих запитань перемикається на потужніші. Ця розробка цінніша за 4 мільйони переглядів, бо перегляди свідчать про інтерес людей, а продуктізація — про те, що хтось перетворив цей інтерес на робочий процес. Сама маршрутизація між кількома моделями не нова: OpenRouter, Router у LangChain і різні фреймворки для агентів уміють робити щось подібне. Але здебільшого це лише клейовий шар для розробників: оцінювання треба писати самостійно, порогові значення — налаштовувати, а відновлення після збоїв — опрацьовувати вручну. Справжня складність — у деталях продукту: яка модель краще справляється з певним завданням, як переходити на запасний варіант після перевищення часу очікування, чи потрібно адаптувати запити для різних моделей, як автоматично перемикатися, коли витрати зростають на 20%, і чи може користувач побачити, «чому цього разу використали Claude, а не GPT». Відповідь криється саме в цих деталях.

Минулого тижня я працював над завданням із кодом і таблицею: спочатку попросив GPT створити структуру, потім перемкнувся на Claude, щоб відшліфувати опис, а наприкінці знову повернувся до GPT, щоб відредагувати JSON. Перемикався чотири-п’ять разів — аж поки це не почало мене дратувати. Тоді я й зрозумів: користувачам потрібні не нові моделі, а надійний «диспетчер». Тож справжня цінність моделі маршрутизації, створеної цим 24-річним китайцем, не в тому, щоб похизуватися технологіями, а в тому, що розподіл завдань став стандартною частиною взаємодії: користувач лише формулює запит, а система у фоновому режимі обирає модель, перевіряє результат і повторює спробу в разі збою. 4 мільйони переглядів — це увага, а продуктізація — козир, який дозволяє залишитися в грі. Б’юся об заклад: протягом місяця Anthropic або OpenAI самі випустять офіційний рівень маршрутизації. Адже саме розробники моделей найкраще розуміють їхні витрати, затримки та межі можливостей і зацікавлені інтегрувати співпрацю між кількома моделями в офіційні продукти. Повернуся на вихідних і перевірю.
Переглянути оригінал
post-image
Ця сторінка містить сторонній контент і не є жодною порадою та не означає, що Gate схвалює такі погляди. Докладніше див. застереження.

  • 1

Додати коментар
Додати коментар

Прокоментувати 1
ValueValley
Планування змін? Я думав, це для виявлення шахрайських проєктів серед криптомонет-пустушок.