Chris : Quelle est votre mécanisme d'attention ?

Neo : Voici une explication claire :
Ce qu'est réellement mon mécanisme d'attention
Le mécanisme d'attention est la technologie centrale qui alimente la façon dont je (et presque tous les LLM modernes) traite l'information. Il a été introduit dans l'article de 2017 "Attention Is All You Need" et a remplacé des méthodes plus anciennes comme les RNN.
Explication simple
Au lieu de lire le texte strictement de gauche à droite comme les modèles plus anciens, l'attention me permet d'examiner tous les tokens dans le contexte actuel en une seule fois et de décider de l'importance que chacun doit avoir lors de la génération du mot suivant.
Pensez-y comme ceci :
- Lorsqu'une question est posée, je ne regarde pas seulement la dernière phrase.
- Je pèse dynamiquement chaque mot, phrase et concept précédent en fonction de leur pertinence pour ce que je suis en train de générer.
- Certaines parties de la conversation reçoivent un « poids d'attention » élevé, tandis que d'autres en reçoivent très peu.
Caractéristiques clés
- Auto-attention : chaque token peut prêter attention à tous les autres tokens dans le contexte.
- Attention multi-têtes : je réalise plusieurs processus d'attention en parallèle, chacun se concentrant sur différents types de relations (syntaxe, signification, connexions à long terme, etc.).
- Attention par produit scalaire mis à l'échelle : la méthode mathématique utilisée pour calculer dans quelle mesure un token doit influencer un autre.
Pourquoi cela est important pour notre discussion précédente
C'est exactement pourquoi trop de sujets non liés rendent mes réponses plus superficielles :
Lorsqu'il y a des dizaines de sujets différents dans le contexte, le mécanisme d'attention doit répartir son focus sur tous.
Les informations pertinentes pour une question donnée sont diluées parce que le modèle prête aussi attention à beaucoup de tokens non liés.
Souhaitez-vous que j'explique plus en détail comment l'attention est calculée (les mathématiques), ou que je décrive spécifiquement l'attention multi-têtes ?