Опубликовать

Модель-оркестратор, созданная 24-летним китайцем, распределяет задачи между Claude и GPT — и это зрелище ценнее 4 миллионов просмотров. Маршрутизацией между несколькими моделями уже никого не удивишь. Новое здесь то, что кто-то действительно превратил её в продукт. На прошлой неделе я вручную переключался между несколькими моделями и в конце концов сам от этого устал — ответы кроются в деталях. Готов поспорить, что в течение месяца Anthropic или OpenAI выпустит собственный официальный уровень маршрутизации. Вернусь в выходные и проверю.



Если конкретнее, эта модель-оркестратор работает как диспетчер для больших языковых моделей: не пытается поручить всё одной модели, а распределяет задачи с учётом их типа, стоимости, задержки и требований к качеству. Например, длинные тексты для обобщения и сложные рассуждения можно поручить Claude, а генерацию кода, структурированные ответы и вызов инструментов — GPT; при высокой нагрузке отдавать предпочтение более дешёвой модели, а для критически важных вопросов переключаться на более мощную. Это зрелище ценнее 4 миллионов просмотров, потому что просмотры показывают, что людям это интересно, а продуктовая реализация — что кто-то превратил этот интерес в работающий процесс. Сама маршрутизация между несколькими моделями — не новость: нечто подобное умеют OpenRouter, Router в LangChain и разные фреймворки для агентов. Но большинство таких решений остаются на уровне связующего кода для разработчиков: оценки, пороговые значения и обработку сбоев с переключением на запасной вариант приходится настраивать самостоятельно. Настоящая сложность — в деталях продукта: какая модель лучше справляется с той или иной задачей, как переключаться на запасную при тайм-ауте, нужно ли адаптировать промпты под разные модели, как автоматически переключать модели при росте затрат на 20% и может ли пользователь увидеть, «почему в этот раз выбрали Claude, а не GPT». Ответы кроются в этих деталях.

На прошлой неделе я писал код по требованиям, включавшим таблицу: сначала попросил GPT подготовить структуру, затем переключился на Claude, чтобы отредактировать пояснения, а после снова вернулся к GPT, чтобы поправить JSON. Переключался туда-сюда раз пять и в конце концов сам от этого устал. Тогда я понял: пользователям нужно не больше моделей, а надёжный «диспетчер». Поэтому главная ценность модели-оркестратора, созданной этим 24-летним китайцем, не в демонстрации технологий, а в том, что распределение задач стало стандартным сценарием: пользователь просто формулирует запрос, а система сама выбирает модель, проверяет результат и повторяет попытку при сбое. 4 миллиона просмотров — это внимание, а продуктовая реализация — ставка, которая позволяет остаться за игровым столом. Готов поспорить, что в течение месяца Anthropic или OpenAI выпустит собственный официальный уровень маршрутизации: ведь создатели моделей лучше всех знают их стоимость, задержки и пределы возможностей, и им выгодно включить взаимодействие между несколькими моделями в официальный функционал. Вернусь в выходные и проверю.
Посмотреть Оригинал
post-image
Эта страница содержит контент третьих сторон. Он не является рекомендацией и не означает одобрения таких взглядов со стороны Gate. Подробнее см. дисклеймер.

  • 1

Добавить комментарий
Добавить комментарий

комментарий 1
ValueValley
Расписание? Я думал, это для выявления скам-токенов в крипте.