Distillation automatique de politique en ligne et simulation de rêves pourraient être de nouvelles solutions pour l'apprentissage continu des grands modèles.

Voici la traduction en français :

Coin World News, OneMillion_AI a déclaré que les grands modèles de langage se heurtent au problème de ne pas pouvoir absorber continuellement de nouvelles connaissances après leur déploiement. Les techniques d'optimisation existantes se concentrent principalement sur l'élargissement de la fenêtre de contexte et l'amélioration de la vitesse de recherche, sans résoudre le problème de l'oubli des connaissances. La distillation automatique des stratégies en ligne (OPSD) offre une nouvelle voie de mise à jour des poids. En calculant la différence de probabilité au niveau des tokens entre l'état de base et l'état de l'enseignant par rétropropagation, elle fournit un signal de supervision pour aider le modèle de base à se rapprocher des états de score élevé. Par rapport au réglage fin supervisé traditionnel, la distillation automatique n'extrait que l'expérience décisionnelle nécessaire, évitant l'oubli catastrophique et protégeant les connaissances générales du grand modèle. Une autre voie d'apprentissage est la simulation de rêve, où le modèle construit un environnement de simulateur virtuel dans des tâches complexes pour effectuer des simulations de tâches, et les trajectoires réussies mettront à jour les poids du modèle de base. On prévoit qu'entre 2027 et 2028, après une semaine de travail collaboratif avec les humains, les agents IA seront soumis à une évaluation de performance. Une fois reconnus, ils internaliseront l'expérience réelle dans les poids sous-jacents du modèle via la distillation automatique des stratégies en ligne ou la simulation de rêve, réalisant ainsi une expansion en ligne de leurs capacités.