Ce n'est qu'à l'étape de raisonnement que la planification est ajoutée, le modèle de base n'a pas besoin d'être modifié. Si cette optimisation plug-and-play pouvait réduire la puissance de calcul, la génération de longues vidéos pourrait vraiment passer de la fabrication de potions à une ingénierie.

La présente étude propose d'introduire lors de la phase d'inférence un cadre de planification basé sur la recherche Monte Carlo à arbres multiples, appelé Planning at Inference, pour la génération de longues vidéos en la traitant comme un problème de décision séquentielle. En utilisant une rétroaction anticipée et une propagation des récompenses en sens inverse, cette méthode évalue plusieurs segments, atténuant ainsi de manière significative la dérive sémantique et l'accumulation d'erreurs dues à la génération par blocs. La structure à arbres multiples améliore l'efficacité de la recherche et peut servir de solution d'optimisation entièrement plug-and-play lors de l'inférence, sans nécessiter de fine-tuning du modèle de base. Dans l'expérience Cosmos-Predict2, cette approche a permis de générer des vidéos cohérentes de plus de 20 secondes de haute qualité, surpassant les méthodes de recherche gloutonne/bouclée et Best-of-N en termes de persistance des objets, de cohérence temporelle et d'alignement avec le texte ; par rapport à Sora et Kling, la durée a été augmentée de 18 % et 47 %, avec une qualité d'image comparable. Bien que cette méthode soit coûteuse en calcul, avec une amélioration du modèle de base et du matériel, cette voie pourrait faire avancer la génération de longues vidéos vers une application industrielle.