Publicar

Un modelo de enrutamiento creado por un chino de 24 años pone a Claude y GPT a turnarse para trabajar; esta escena vale más que 4 millones de visitas. El enrutamiento entre varios modelos no es nada nuevo; lo novedoso es que alguien haya conseguido convertirlo en un producto de verdad. La semana pasada todavía cambiaba manualmente de un modelo a otro, hasta que acabé harto. La respuesta está en los detalles. Apuesto a que en un mes Anthropic u OpenAI lanzarán su propia capa oficial de enrutamiento. Vuelvo el fin de semana y lo comprobamos.



En concreto, este modelo de enrutamiento es como un planificador de turnos para los modelos grandes: en vez de dejar que un único modelo se encargue de todo, asigna las tareas según su tipo, coste, latencia y requisitos de calidad. Por ejemplo, los resúmenes de textos largos y el razonamiento complejo se asignan a Claude; la generación de código, las salidas estructuradas y el uso de herramientas, a GPT. Cuando hay mucha concurrencia, se priorizan los modelos más baratos; para preguntas importantes, se pasa a modelos más potentes. Esta escena vale más que 4 millones de visitas porque las visitas demuestran que a la gente le interesa, mientras que convertirlo en un producto demuestra que alguien ha transformado ese «interés» en un flujo de trabajo funcional. El enrutamiento entre varios modelos en sí no es nuevo: OpenRouter, Router de LangChain y varios frameworks de agentes permiten hacer cosas parecidas, pero la mayoría se queda en una capa de pegamento para desarrolladores: hay que escribir las evaluaciones, fijar los umbrales y gestionar manualmente los mecanismos alternativos cuando algo falla. Lo realmente difícil son los detalles de producto: qué modelo tiene más probabilidades de acertar en cada tarea, cómo degradar el servicio cuando se agota el tiempo de espera, si hay que adaptar las instrucciones a cada modelo, cómo cambiar de modelo automáticamente cuando los costes aumentan un 20% y si el usuario puede ver «por qué esta vez se usó Claude en lugar de GPT». La respuesta está en esos detalles.

La semana pasada escribí un requisito de código con tablas: primero usé GPT para generar la estructura, luego pasé a Claude para pulir la explicación y, al final, volví a GPT para modificar el JSON. Cambié de un modelo a otro cuatro o cinco veces, hasta que acabé harto. En ese momento entendí que los usuarios no necesitan más modelos, sino un «planificador» fiable. Por eso, lo verdaderamente valioso del modelo de enrutamiento creado por este chino de 24 años no es la exhibición técnica, sino haber convertido la «asignación de turnos» en la experiencia predeterminada: el usuario solo plantea lo que necesita, y el sistema se encarga en segundo plano de elegir el modelo, validar el resultado y volver a intentarlo si algo falla. Las 4 millones de visitas representan atención; convertirlo en un producto es lo que te mantiene en la partida. Apuesto a que en un mes Anthropic u OpenAI lanzarán su propia capa oficial de enrutamiento. Al fin y al cabo, los fabricantes de modelos son quienes mejor conocen sus costes, latencias y límites de capacidad, y también tienen motivos para integrar la colaboración entre varios modelos en sus funciones oficiales. Vuelvo el fin de semana y lo comprobamos.
Ver original
post-image
Esta página contiene contenido de terceros y no constituye ningún tipo de asesoramiento, ni implica que Gate respalde dichas opiniones. Para más información, consulta el aviso legal.

  • 1

Añadir un comentario
Añadir un comentario

Comentar 1
ValueValley
¿Organizar turnos? Pensé que era para ayudar a detectar las shitcoins del mundo cripto.