Luo Fuli : Les grands modèles entrent dans l'ère post-formation, les meilleures équipes atteignent un ratio de calcul 1:1 pour la pré-formation et la post-formation

Selon la surveillance de Dongcha Beating, Luo Fuli, chef de l’équipe des grands modèles de Xiaomi, a souligné que la compétition dans les grands modèles est passée de l’ère Chat dominée par la pré-formation à l’ère des Agents dominée par la post-formation (Post-train). Le point clé actuel de la compétition est « comment faire évoluer efficacement l’apprentissage par renforcement (RL) sur les Agents ». Ce changement de paradigme a directement conduit à une restructuration de l’allocation des ressources informatiques. Luo a révélé qu’à l’époque de Chat, le ratio de calcul pour la recherche, la pré-formation et la post-formation était d’environ 3:5:1 ; alors que dans l’ère actuelle des Agents, un ratio d’allocation de calcul raisonnable est devenu 3:1:1, indiquant que l’investissement en calcul pour la pré-formation et la post-formation est désormais presque égal, avec les meilleures équipes de modèles atteignant un ratio 1:1 dans leurs investissements pour ces deux domaines. De plus, les exigences en matière d’architecture système ont connu des changements importants. Auparavant, l’infrastructure RL était principalement centrée autour de « moteurs d’inférence de modèles » qui géraient des calculs de texte pur ; désormais, l’infrastructure doit être centrée autour des « Agents », supportant la planification de clusters hétérogènes et tolérant l’ambiguïté que les Agents puissent être interrompus dans des flux de travail complexes en raison de divers facteurs incontrôlables.