Les avantages et inconvénients des étiquettes dures + Voie ③ distillation collaborative :

✅ Mise en œuvre simple / peu coûteux en calcul / applicable aux API boîte noire, très efficace pour l'optimisation des instructions / génération de données synthétiques
❌ Moins d'informations que les étiquettes molles, ne montre pas la confiance et la relation avec les tokens
Distillation collaborative : entraînement simultané du professeur et de l'élève, progrès ensemble, Meta a utilisé cette méthode pour entraîner Llama 4 Scout, mais l'entraînement est plus complexe