Publication

Ce modèle d’orchestration créé par un Chinois de 24 ans fait travailler Claude et GPT selon un planning. Cette image vaut plus que 4 millions de vues. Le routage entre plusieurs modèles, ce n’est pas nouveau. Ce qui l’est, c’est que quelqu’un en a vraiment fait un produit. La semaine dernière, je passais encore manuellement d’un modèle à l’autre, jusqu’à en avoir moi-même assez — la réponse se cache dans les détails. Je parie qu’Anthropic ou OpenAI lancera sa propre couche de routage officielle d’ici un mois. On en reparle ce week-end.



Concrètement, ce modèle d’orchestration fonctionne comme un planificateur pour les grands modèles : au lieu de confier toutes les tâches à un seul modèle, il les répartit en fonction de leur type, du coût, de la latence et du niveau de qualité requis. Par exemple, les résumés de longs textes et les raisonnements complexes sont confiés à Claude, tandis que la génération de code, les sorties structurées et les appels d’outils reviennent à GPT. En cas de forte concurrence, il privilégie les modèles moins chers ; pour les questions cruciales, il passe à des modèles plus puissants. Si cette image vaut plus que 4 millions de vues, c’est parce que les vues montrent que les gens s’y intéressent, tandis que la mise en produit montre que quelqu’un a transformé cet « intérêt » en un flux de travail opérationnel. Le routage entre plusieurs modèles n’a rien de nouveau : OpenRouter, le Router de LangChain et divers frameworks d’agents permettent déjà de faire des choses similaires. Mais la plupart en restent à une couche de glue pour développeurs : il faut écrire soi-même les évaluations, définir les seuils et gérer les solutions de repli en cas d’échec. La vraie difficulté, c’est la mise en produit et ses détails : quel modèle obtient les meilleurs résultats pour quelle tâche, comment dégrader le service en cas de dépassement du délai, faut-il adapter les prompts selon le modèle, comment basculer automatiquement quand les coûts augmentent de 20 %, et l’utilisateur peut-il voir « pourquoi Claude a été utilisé cette fois plutôt que GPT » ? La réponse se cache dans ces détails.

La semaine dernière, j’ai écrit une demande de code avec un tableau : j’ai d’abord utilisé GPT pour générer la structure, puis je suis passé à Claude pour peaufiner les explications, et enfin je suis revenu à GPT pour modifier le JSON. J’ai changé de modèle quatre ou cinq fois, jusqu’à en avoir moi-même assez. C’est à ce moment-là que j’ai compris que les utilisateurs n’ont pas besoin de davantage de modèles, mais d’un « répartiteur » fiable. La vraie valeur de ce modèle d’orchestration créé par ce Chinois de 24 ans, ce n’est pas la prouesse technique, mais le fait d’avoir fait de la « planification » une expérience par défaut : l’utilisateur se contente d’exprimer son besoin, et le système se charge en arrière-plan de choisir le modèle, de valider le résultat et de réessayer en cas d’échec. Les 4 millions de vues, c’est de l’attention ; la mise en produit, c’est ce qui permet de rester dans la course. Je parie qu’Anthropic ou OpenAI lancera sa propre couche de routage officielle d’ici un mois. Après tout, les fabricants de modèles connaissent mieux que quiconque leurs coûts, leur latence et les limites de leurs capacités, et ils ont aussi intérêt à intégrer la collaboration entre plusieurs modèles à leurs offres officielles. On en reparle ce week-end.
Voir l'original
post-image
Cette page contient du contenu tiers, ne constitue aucun conseil et ne représente pas l’approbation par Gate de ces points de vue. Pour plus de détails, veuillez consulter l’avertissement.

  • 1

Ajouter un commentaire
Ajouter un commentaire

Commentaire 1
ValueValley
Des plannings ? Je croyais qu’il s’agissait de débusquer les shitcoins dans la crypto.