ULMFiT : l'article de 2018 qui a rendu possible la fine-tuning des LLM d'aujourd'hui

ULMFiT et la méthode actuelle des LLM, comment ça se connecte

Que s’est-il réellement passé

Le co-fondateur de fast.ai, Jeremy Howard, a discuté de la relation entre ULMFiT (Universal Language Model Fine-tuning) et les modèles de langage actuels. Il a été très direct : ULMFiT est l’idée de préentraînement copiée du domaine visuel, ayant réalisé pour la première fois un préentraînement de modélisation linguistique auto-supervisée sur des textes généraux, puis adapté à des tâches NLP spécifiques grâce à une “micro-ajustement en deux étapes” — les LLM dominants d’aujourd’hui fonctionnent essentiellement de cette manière.

La valeur de cet article de 2018 réside dans le fait qu’il permet d’effectuer un apprentissage par transfert en NLP avec très peu de données annotées, tout en battant le record de classification de texte à l’époque.

Pourquoi cette histoire mérite d’être connue

• Howard parle avec assurance : il est l’un des auteurs de l’article et a enseigné l’apprentissage profond pendant de nombreuses années via les cours gratuits et les outils open source de fast.ai.
• Il y a eu de véritables contributions technologiques à l’époque :
  • Décongélation progressive (débloquer l’entraînement couche par couche)
  • Ajustement différentiel (taux d’apprentissage différent pour chaque couche)
  • Stratégie de taux d’apprentissage en triangle incliné (planification qui augmente d’abord puis diminue) Ces techniques permettent aux praticiens de transférer les modèles préentraînés de manière plus stable vers de nouvelles tâches, ce qui n’était pas possible avec les méthodes précédentes.

Comparaison avec des méthodes contemporaines

• word2vec : produit uniquement des vecteurs de mots statiques, ne peut pas être ajusté de bout en bout.
• ELMo : les vecteurs de mots peuvent percevoir le contexte, mais quand ils sont utilisés, ils sont figés, sans mise à jour du modèle entier.
• ULMFiT : commence par un préentraînement non supervisé à grande échelle, puis ajuste l’ensemble du modèle.

Le tableau ci-dessous résume les différences entre les trois en termes de représentation, d’entraînement et de stratégie d’adaptation :

Point de vue central

• ULMFiT a prouvé que “préentraînement auto-supervisé universel + ajustement au niveau des tâches” fonctionne en NLP.
• BERT et GPT ont suivi le même chemin, ils ont simplement utilisé le Transformer et l’ont amplifié.

Comment évaluer l’impact

• Importance : Modérée (a établi une méthodologie et une pratique d’ingénierie pour les successeurs, mais l’impact réel à grande échelle provient de l’écosystème BERT/GPT)
• Catégorie : Insight technique / Recherche en IA / Tendances sectorielles

Points à retenir

• Réflexions pour le travail pratique :
  1. Commencer par un préentraînement auto-supervisé sur un corpus à grande échelle pour que le modèle acquière des capacités linguistiques générales ;
  2. Utiliser des techniques telles que le taux d’apprentissage hiérarchique et la décongélation progressive lors de l’ajustement, pour un entraînement plus stable ;
  3. Lorsque les données annotées sont rares, l’apprentissage par transfert peut considérablement améliorer l’efficacité des échantillons et la capacité de généralisation.
• Extensions pour la recherche :
  • Comment concevoir les tâches de préentraînement et stabiliser l’ajustement, ces détails décident souvent de l’efficacité du transfert ;
  • Ce paradigme est indépendant de l’architecture, fonctionnant depuis RNN jusqu’au Transformer.

Importance : Modérée

Catégorie : Insight technique, recherche en IA, tendances sectorielles

Résumé : Pour le récit actuel des LLM, vous n’êtes pas arrivé trop tôt, mais comprendre les détails de l’ajustement de ULMFiT reste utile pour construire et optimiser des systèmes ; les véritables bénéficiaires sont les constructeurs d’ingénierie et de recherche ainsi que les équipes investissant à long terme, tandis que les traders à court terme sont moins concernés.