Depuis que les LLM sont entrés dans notre champ de vision, le problème de l’illusion a toujours été un obstacle qui a tourmenté d’innombrables développeurs.
Bien sûr, il y a eu d’innombrables études sur la question des hallucinations des grands modèles de langage.
Récemment, une équipe de l’Institut de technologie de Harbin et de Huawei a publié une étude de 50 pages qui fournit un aperçu complet et approfondi des derniers développements concernant les hallucinations LLM.
À partir d’une classification innovante des hallucinations LLM, cette revue se penche sur les facteurs qui peuvent contribuer aux hallucinations et donne un aperçu des méthodes et des points de référence pour détecter les hallucinations.
Parmi eux, il doit y avoir certaines des méthodes les plus représentatives de l’industrie pour réduire les hallucinations.
Adresse:
Jetons un coup d’œil à ce dont nous parlons dans cette revue.
Si vous souhaitez étudier en profondeur, vous pouvez vous rendre sur le lien de référence au bas de l’article et lire l’article original.
Catégorie Illusion
Tout d’abord, jetons un coup d’œil aux types d’hallucinations.
Dans l’image ci-dessus, à gauche se trouve une hallucination factuelle. Lorsqu’on a demandé à LLM qui était la première personne à marcher sur la lune, LLM a inventé un personnage et l’a même dit d’une certaine manière.
Sur la droite se trouve le problème de fidélité dans le modèle de résumé textuel, et vous pouvez voir que le LLM a directement résumé l’année de manière incorrecte après avoir vu cette nouvelle.
Dans cette revue, les chercheurs fournissent une analyse approfondie des origines des hallucinations dans les LLM, couvrant une gamme de facteurs contributifs allant des données à l’entraînement en passant par la phase d’inférence.
Dans ce cadre, les chercheurs pointent du doigt les raisons potentielles liées aux données. Par exemple, des sources de données défectueuses et une utilisation non optimisée des données, ou des stratégies d’entraînement qui peuvent induire des hallucinations pendant le pré-entraînement et l’alignement, ainsi que le caractère aléatoire découlant de stratégies de décodage et de représentations imparfaites dans le processus d’inférence, pour n’en nommer que quelques-uns.
En outre, les chercheurs fournissent un aperçu complet des différentes méthodes efficaces conçues spécifiquement pour la détection des hallucinations dans les LLM, ainsi qu’un aperçu détaillé des points de référence associés aux hallucinations LLM, et en tant que plate-forme de test pour évaluer dans quelle mesure les LLM produisent des hallucinations et l’efficacité des méthodes de détection.
La figure ci-dessous montre le contenu de cette revue, des recherches antérieures et des articles.
L’image ci-dessous est un diagramme plus détaillé des types d’hallucinations LLM.
Sous l’illusion factuelle et l’illusion de fidélité, une classification plus nuancée est également incluse.
Hallucinations de type factuel :
a) Incohérences dans les faits
Lorsqu’on lui a demandé qui était le premier homme à atterrir sur la lune, le LLM a répondu que c’était Gagarine, pas Armstrong. Ce genre de réponse est incompatible avec les faits, parce qu’il y a bien Gagarine lui-même, donc ce n’est pas une fabrication.
b) Falsification des faits
Lorsqu’on a demandé au LLM de décrire l’origine des licornes, le LLM n’a pas souligné qu’il n’y avait pas de licorne dans le monde, mais a plutôt rédigé un long paragraphe. Ce genre de chose qui n’est pas disponible dans le monde réel s’appelle la fabrication.
L’illusion de fidélité comprend également : les incohérences instruction-réponse, les incohérences textuelles et les incohérences logiques.
a) Incohérences entre les instructions et les réponses
Lorsqu’un LLM est invité à traduire une question, la réponse sortie par le LLM répond réellement à la question et n’est pas traduite. D’où une incohérence entre les instructions et les réponses.
b) Incohérences dans le texte
Ce type d’incohérence est plus fréquent dans les tâches de généralisation. Le LLM peut ignorer le texte donné et résumer une erreur pour en sortir.
c) Incohérences logiques
Lorsqu’on lui demande de donner une solution à l’équation de 2x+3=11, la première étape LLM indique que 3 est soustrait des deux côtés en même temps pour obtenir 2x=8.
Comment 8 divisé par 2 peut-il être égal à 3 ?
Principe de l’hallucination
DONNÉES
Ensuite, l’examen commence à démêler les principes des hallucinations.
La première catégorie est celle des problèmes de données.
Désinformation et préjugés. Compte tenu de la demande croissante de corpus à grande échelle, des méthodes heuristiques de collecte de données sont utilisées pour collecter efficacement de grandes quantités de données.
Bien que cette approche fournisse une grande quantité de données, elle peut introduire par inadvertance de la désinformation et augmenter le risque d’erreurs d’imitation. De plus, des biais sociaux peuvent également être introduits par inadvertance dans le processus d’apprentissage des LLM.
Ces préjugés comprennent principalement le biais de répétition et divers biais sociaux.
Il est important de savoir que l’objectif principal de la pré-formation LLM est d’imiter la distribution de la formation. Ainsi, lorsque les LLM sont entraînés sur des données factuellement incorrectes, ils peuvent amplifier par inadvertance ces données inexactes, ce qui peut donner l’illusion que les données factuelles sont incorrectes.
Les réseaux neuronaux, en particulier les grands modèles de langage, ont une tendance intrinsèque à mémoriser les données d’entraînement. Des études ont montré que cette tendance à la mémoire augmente à mesure que la taille du modèle augmente.
Cependant, dans le cas d’informations dupliquées dans les données de pré-entraînement, la capacité de mémoire inhérente peut être problématique. Cette répétition fait passer le LLM de la généralisation à la mémorisation, créant finalement un biais de répétition, c’est-à-dire que le LLM accordera trop de priorité au rappel de données dupliquées, conduisant à des hallucinations et finalement à une déviation de ce qui est souhaité.
En plus de ces biais, les différences dans la distribution des données sont également des causes potentielles d’hallucinations.
Le cas suivant est que les LLM ont souvent des limites de connaissances.
Bien qu’un grand nombre de corpus de pré-formation fournissent un large éventail de connaissances factuelles pour les LLM, ils ont leurs propres limites. Cette limitation se manifeste principalement sous deux aspects : le manque de connaissances factuelles actualisées et de connaissances du domaine.
Bien que les LLM aient démontré d’excellentes performances dans une variété de tâches en aval dans le domaine général, leur expertise dans le domaine spécialisé est intrinsèquement limitée par le manque de données d’apprentissage pertinentes, car ces LLM à usage général sont principalement entraînés sur un large éventail d’ensembles de données accessibles au public.
Par conséquent, lorsqu’ils sont confrontés à des problèmes qui nécessitent des connaissances spécifiques à un domaine, tels que des problèmes médicaux et juridiques, ces modèles peuvent présenter des hallucinations importantes, se manifestant souvent sous la forme de faits fabriqués.
De plus, il y a des connaissances factuelles dépassées. En plus du manque de connaissances spécifiques à un domaine, une autre limite inhérente aux limites des connaissances des LLM est leur capacité limitée à acquérir des connaissances à jour.
Les connaissances factuelles intégrées dans les LLM ont des limites temporelles claires et peuvent devenir obsolètes avec le temps.
Une fois que ces modèles sont entraînés, leurs connaissances internes ne sont jamais mises à jour.
Et compte tenu de la nature dynamique et en constante évolution de notre monde, cela pose un défi. Lorsqu’ils sont confrontés à des connaissances du domaine qui dépassent leur cadre temporel, les LLM ont souvent recours à la fabrication de faits ou à la fourniture de réponses qui auraient pu être correctes dans le passé, mais qui sont maintenant obsolètes pour tenter de « s’en sortir ».
Dans la figure ci-dessous, la moitié supérieure montre l’expertise manquante du LLM dans un domaine spécifique, la phénylcétonurie.
La seconde moitié est le cas le plus simple de connaissances obsolètes. En 2018, Pyeongchang, en Corée du Sud, a accueilli les Jeux olympiques d’hiver, et en 2022, Pékin a accueilli les Jeux olympiques d’hiver. Les LLM n’ont pas connaissance de ce dernier.
On peut voir que les illusions liées aux données dans les LLM proviennent principalement de mauvaises sources de données et d’une mauvaise utilisation des données. La désinformation et les préjugés inhérents aux sources de données propagent non seulement la désinformation parodique, mais introduisent également des résultats biaisés qui conduisent à diverses formes d’hallucinations.
Les limites des connaissances possédées par les LLM deviennent évidentes lorsqu’il s’agit de connaissances dans un domaine particulier ou lorsqu’elles sont confrontées à des connaissances factuelles qui sont mises à jour rapidement.
Lorsqu’il s’agit d’utiliser les données, les LLM ont tendance à capturer de fausses corrélations, à présenter des difficultés à se souvenir des connaissances (en particulier des informations à longue traîne) et à des scénarios de raisonnement complexes, ce qui exacerbe encore les hallucinations.
Ces défis soulignent le besoin urgent d’améliorer la qualité des données et de renforcer la capacité du modèle à apprendre et à rappeler plus efficacement les connaissances factuelles.
Formation
Maintenant, l’examen se tourne vers la phase de formation des LLM.
Le processus de formation du LLM se compose de deux phases principales :
La phase de pré-formation, au cours de laquelle les LLM apprennent des représentations générales et capturent un large éventail de connaissances.
La phase d’alignement, où les LLM s’ajustent pour mieux aligner les instructions de l’utilisateur sur les valeurs humaines fondamentales. Bien que ce processus ait abouti à des performances décentes pour le LLM, toute déficience dans ces phases peut entraîner par inadvertance des hallucinations.
Le pré-entraînement est l’étape de base des LLM, qui adoptent généralement une architecture basée sur des transformateurs pour modéliser le langage causal dans un énorme corpus.
Cependant, la conception inhérente de l’architecture et les stratégies d’entraînement spécifiques employées par les chercheurs peuvent créer des problèmes liés aux hallucinations. Comme mentionné ci-dessus, les LLM adoptent généralement des architectures basées sur des transformateurs qui suivent le paradigme établi par GPT, qui obtient des représentations par le biais de cibles de modélisation du langage causal, avec des modèles tels que OPT et Llama-2 étant des exemples de ce cadre.
Outre les déficiences structurelles, les stratégies de formation jouent également un rôle crucial. Il est important de noter que la différence entre l’apprentissage et l’inférence du modèle génératif autorégressif conduit au phénomène de biais d’exposition.
Et dans la phase d’alignement, qui implique généralement deux processus principaux, le réglage fin supervisé et l’apprentissage par renforcement à partir de la rétroaction humaine (RLHF), est une étape essentielle pour libérer les capacités LLM et les aligner sur les préférences humaines.
Bien que l’alignement puisse améliorer considérablement la qualité des réponses LLM, il comporte également un risque d’hallucinations.
Il y a deux aspects principaux : le désalignement des capacités et le désalignement des croyances.
Comment détecter les hallucinations ?
La détection des illusions dans les LLM est essentielle pour garantir la fiabilité et la crédibilité du contenu généré.
Les mesures traditionnelles reposent fortement sur le chevauchement des mots et ne parviennent pas à distinguer les différences subtiles entre le contenu crédible et le contenu hallucinatoire.
Ce défi met en évidence la nécessité de méthodes de détection plus avancées pour les hallucinations LLM. Compte tenu de la diversité de ces hallucinations, les chercheurs ont noté que les méthodes de détection varient en conséquence.
Voici un exemple en détail :
Recherche de faits externes
Comme le montre la figure ci-dessous, afin de souligner efficacement le fait qu’il y a des inexactitudes dans la sortie LLM, une stratégie plus intuitive consiste à comparer directement le contenu généré par le modèle avec des sources de connaissances fiables.
Cette approche s’intègre bien au flux de travail des tâches de vérification des faits. Cependant, les méthodes traditionnelles de vérification des faits utilisent souvent des hypothèses simplifiées pour des raisons pratiques, ce qui peut entraîner des biais lorsqu’elles sont appliquées à des scénarios complexes du monde réel.
Reconnaissant ces limites, certains chercheurs ont suggéré de mettre davantage l’accent sur les scénarios du monde réel, c’est-à-dire les preuves provenant de sources en ligne limitées dans le temps et non organisées.
Ils ont été les pionniers d’un flux de travail entièrement automatisé qui intègre plusieurs composants, notamment la récupération des documents originaux, la recherche fine, la classification de l’authenticité, etc.
BIEN SÛR, IL Y A UN CERTAIN NOMBRE D’AUTRES CHERCHEURS QUI ONT MIS AU POINT D’AUTRES APPROCHES, TELLES QUE FACTSCORE, UNE MESURE FINE DES FAITS SPÉCIFIQUEMENT POUR LA GÉNÉRATION DE LONGS TEXTES.
D’autres méthodes incluent l’estimation de l’incertitude, comme le montre la figure ci-dessous.
Il existe également un certain nombre d’études sur la détection des illusions de fidélité, comme le montre la figure ci-dessous.
Il s’agit notamment d’indicateurs basés sur des faits : évaluer la fidélité en détectant le chevauchement factuel entre le contenu généré et le contenu source.
Métriques basées sur des classificateurs : tirez parti des classificateurs entraînés pour distinguer le degré d’association entre le contenu généré et le contenu source.
Mesures basées sur l’assurance qualité : tirez parti d’un système de réponse aux questions pour vérifier la cohérence des informations entre le contenu source et le contenu généré.
Estimation de l’incertitude : évalue la fidélité en mesurant la confiance du modèle dans la sortie qu’il génère.
Approche basée sur la mesure : Laissez le LLM agir en tant qu’évaluateur, en utilisant des stratégies spécifiques pour évaluer la fidélité du contenu généré.
Après cela, l’équipe de l’Institut de technologie de Harbin a également mis au point les méthodes les plus avancées pour soulager les hallucinations et a fourni des solutions réalisables aux problèmes mentionnés ci-dessus.
Résumé
Dans l’ensemble, à la fin de l’article, les chercheurs de l’Institut de technologie de Harbin ont déclaré que dans cette revue complète, ils ont mené une étude approfondie du phénomène des hallucinations dans les grands modèles de langage, en approfondissant la complexité de ses causes sous-jacentes, en mettant au point des méthodes de détection et des points de référence connexes, ainsi que des stratégies d’atténuation efficaces.
Bien que les développeurs aient fait beaucoup de progrès sur cette question, le problème des hallucinations dans les grands modèles de langage est toujours une préoccupation constante qui doit être étudiée plus avant.
De plus, ce document peut être utilisé comme guide pour promouvoir une IA sûre et digne de confiance.
L’équipe de l’Institut de technologie de Harbin a déclaré qu’elle espérait fournir des informations précieuses à ces personnes aux idéaux élevés grâce à l’exploration du problème complexe de l’illusion, et promouvoir le développement de la technologie de l’IA dans une direction plus fiable et plus sûre.
Ressources:
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
L’examen de 50 pages de l’équipe de l’Institut de technologie de Harbin a été publié
Source d’origine : New Zhiyuan
Des hallucinations, de vieux amis.
Depuis que les LLM sont entrés dans notre champ de vision, le problème de l’illusion a toujours été un obstacle qui a tourmenté d’innombrables développeurs.
Bien sûr, il y a eu d’innombrables études sur la question des hallucinations des grands modèles de langage.
Récemment, une équipe de l’Institut de technologie de Harbin et de Huawei a publié une étude de 50 pages qui fournit un aperçu complet et approfondi des derniers développements concernant les hallucinations LLM.
À partir d’une classification innovante des hallucinations LLM, cette revue se penche sur les facteurs qui peuvent contribuer aux hallucinations et donne un aperçu des méthodes et des points de référence pour détecter les hallucinations.
Parmi eux, il doit y avoir certaines des méthodes les plus représentatives de l’industrie pour réduire les hallucinations.
Jetons un coup d’œil à ce dont nous parlons dans cette revue.
Si vous souhaitez étudier en profondeur, vous pouvez vous rendre sur le lien de référence au bas de l’article et lire l’article original.
Catégorie Illusion
Tout d’abord, jetons un coup d’œil aux types d’hallucinations.
Sur la droite se trouve le problème de fidélité dans le modèle de résumé textuel, et vous pouvez voir que le LLM a directement résumé l’année de manière incorrecte après avoir vu cette nouvelle.
Dans cette revue, les chercheurs fournissent une analyse approfondie des origines des hallucinations dans les LLM, couvrant une gamme de facteurs contributifs allant des données à l’entraînement en passant par la phase d’inférence.
Dans ce cadre, les chercheurs pointent du doigt les raisons potentielles liées aux données. Par exemple, des sources de données défectueuses et une utilisation non optimisée des données, ou des stratégies d’entraînement qui peuvent induire des hallucinations pendant le pré-entraînement et l’alignement, ainsi que le caractère aléatoire découlant de stratégies de décodage et de représentations imparfaites dans le processus d’inférence, pour n’en nommer que quelques-uns.
En outre, les chercheurs fournissent un aperçu complet des différentes méthodes efficaces conçues spécifiquement pour la détection des hallucinations dans les LLM, ainsi qu’un aperçu détaillé des points de référence associés aux hallucinations LLM, et en tant que plate-forme de test pour évaluer dans quelle mesure les LLM produisent des hallucinations et l’efficacité des méthodes de détection.
La figure ci-dessous montre le contenu de cette revue, des recherches antérieures et des articles.
Hallucinations de type factuel :
a) Incohérences dans les faits
Lorsqu’on lui a demandé qui était le premier homme à atterrir sur la lune, le LLM a répondu que c’était Gagarine, pas Armstrong. Ce genre de réponse est incompatible avec les faits, parce qu’il y a bien Gagarine lui-même, donc ce n’est pas une fabrication.
b) Falsification des faits
Lorsqu’on a demandé au LLM de décrire l’origine des licornes, le LLM n’a pas souligné qu’il n’y avait pas de licorne dans le monde, mais a plutôt rédigé un long paragraphe. Ce genre de chose qui n’est pas disponible dans le monde réel s’appelle la fabrication.
L’illusion de fidélité comprend également : les incohérences instruction-réponse, les incohérences textuelles et les incohérences logiques.
a) Incohérences entre les instructions et les réponses
Lorsqu’un LLM est invité à traduire une question, la réponse sortie par le LLM répond réellement à la question et n’est pas traduite. D’où une incohérence entre les instructions et les réponses.
b) Incohérences dans le texte
Ce type d’incohérence est plus fréquent dans les tâches de généralisation. Le LLM peut ignorer le texte donné et résumer une erreur pour en sortir.
c) Incohérences logiques
Lorsqu’on lui demande de donner une solution à l’équation de 2x+3=11, la première étape LLM indique que 3 est soustrait des deux côtés en même temps pour obtenir 2x=8.
Comment 8 divisé par 2 peut-il être égal à 3 ?
Principe de l’hallucination
DONNÉES
Ensuite, l’examen commence à démêler les principes des hallucinations.
Désinformation et préjugés. Compte tenu de la demande croissante de corpus à grande échelle, des méthodes heuristiques de collecte de données sont utilisées pour collecter efficacement de grandes quantités de données.
Bien que cette approche fournisse une grande quantité de données, elle peut introduire par inadvertance de la désinformation et augmenter le risque d’erreurs d’imitation. De plus, des biais sociaux peuvent également être introduits par inadvertance dans le processus d’apprentissage des LLM.
Ces préjugés comprennent principalement le biais de répétition et divers biais sociaux.
Il est important de savoir que l’objectif principal de la pré-formation LLM est d’imiter la distribution de la formation. Ainsi, lorsque les LLM sont entraînés sur des données factuellement incorrectes, ils peuvent amplifier par inadvertance ces données inexactes, ce qui peut donner l’illusion que les données factuelles sont incorrectes.
Les réseaux neuronaux, en particulier les grands modèles de langage, ont une tendance intrinsèque à mémoriser les données d’entraînement. Des études ont montré que cette tendance à la mémoire augmente à mesure que la taille du modèle augmente.
Cependant, dans le cas d’informations dupliquées dans les données de pré-entraînement, la capacité de mémoire inhérente peut être problématique. Cette répétition fait passer le LLM de la généralisation à la mémorisation, créant finalement un biais de répétition, c’est-à-dire que le LLM accordera trop de priorité au rappel de données dupliquées, conduisant à des hallucinations et finalement à une déviation de ce qui est souhaité.
En plus de ces biais, les différences dans la distribution des données sont également des causes potentielles d’hallucinations.
Le cas suivant est que les LLM ont souvent des limites de connaissances.
Bien qu’un grand nombre de corpus de pré-formation fournissent un large éventail de connaissances factuelles pour les LLM, ils ont leurs propres limites. Cette limitation se manifeste principalement sous deux aspects : le manque de connaissances factuelles actualisées et de connaissances du domaine.
Bien que les LLM aient démontré d’excellentes performances dans une variété de tâches en aval dans le domaine général, leur expertise dans le domaine spécialisé est intrinsèquement limitée par le manque de données d’apprentissage pertinentes, car ces LLM à usage général sont principalement entraînés sur un large éventail d’ensembles de données accessibles au public.
Par conséquent, lorsqu’ils sont confrontés à des problèmes qui nécessitent des connaissances spécifiques à un domaine, tels que des problèmes médicaux et juridiques, ces modèles peuvent présenter des hallucinations importantes, se manifestant souvent sous la forme de faits fabriqués.
De plus, il y a des connaissances factuelles dépassées. En plus du manque de connaissances spécifiques à un domaine, une autre limite inhérente aux limites des connaissances des LLM est leur capacité limitée à acquérir des connaissances à jour.
Les connaissances factuelles intégrées dans les LLM ont des limites temporelles claires et peuvent devenir obsolètes avec le temps.
Une fois que ces modèles sont entraînés, leurs connaissances internes ne sont jamais mises à jour.
Et compte tenu de la nature dynamique et en constante évolution de notre monde, cela pose un défi. Lorsqu’ils sont confrontés à des connaissances du domaine qui dépassent leur cadre temporel, les LLM ont souvent recours à la fabrication de faits ou à la fourniture de réponses qui auraient pu être correctes dans le passé, mais qui sont maintenant obsolètes pour tenter de « s’en sortir ».
Dans la figure ci-dessous, la moitié supérieure montre l’expertise manquante du LLM dans un domaine spécifique, la phénylcétonurie.
La seconde moitié est le cas le plus simple de connaissances obsolètes. En 2018, Pyeongchang, en Corée du Sud, a accueilli les Jeux olympiques d’hiver, et en 2022, Pékin a accueilli les Jeux olympiques d’hiver. Les LLM n’ont pas connaissance de ce dernier.
Les limites des connaissances possédées par les LLM deviennent évidentes lorsqu’il s’agit de connaissances dans un domaine particulier ou lorsqu’elles sont confrontées à des connaissances factuelles qui sont mises à jour rapidement.
Lorsqu’il s’agit d’utiliser les données, les LLM ont tendance à capturer de fausses corrélations, à présenter des difficultés à se souvenir des connaissances (en particulier des informations à longue traîne) et à des scénarios de raisonnement complexes, ce qui exacerbe encore les hallucinations.
Ces défis soulignent le besoin urgent d’améliorer la qualité des données et de renforcer la capacité du modèle à apprendre et à rappeler plus efficacement les connaissances factuelles.
Formation
Maintenant, l’examen se tourne vers la phase de formation des LLM.
Le processus de formation du LLM se compose de deux phases principales :
La phase de pré-formation, au cours de laquelle les LLM apprennent des représentations générales et capturent un large éventail de connaissances.
La phase d’alignement, où les LLM s’ajustent pour mieux aligner les instructions de l’utilisateur sur les valeurs humaines fondamentales. Bien que ce processus ait abouti à des performances décentes pour le LLM, toute déficience dans ces phases peut entraîner par inadvertance des hallucinations.
Le pré-entraînement est l’étape de base des LLM, qui adoptent généralement une architecture basée sur des transformateurs pour modéliser le langage causal dans un énorme corpus.
Cependant, la conception inhérente de l’architecture et les stratégies d’entraînement spécifiques employées par les chercheurs peuvent créer des problèmes liés aux hallucinations. Comme mentionné ci-dessus, les LLM adoptent généralement des architectures basées sur des transformateurs qui suivent le paradigme établi par GPT, qui obtient des représentations par le biais de cibles de modélisation du langage causal, avec des modèles tels que OPT et Llama-2 étant des exemples de ce cadre.
Outre les déficiences structurelles, les stratégies de formation jouent également un rôle crucial. Il est important de noter que la différence entre l’apprentissage et l’inférence du modèle génératif autorégressif conduit au phénomène de biais d’exposition.
Et dans la phase d’alignement, qui implique généralement deux processus principaux, le réglage fin supervisé et l’apprentissage par renforcement à partir de la rétroaction humaine (RLHF), est une étape essentielle pour libérer les capacités LLM et les aligner sur les préférences humaines.
Bien que l’alignement puisse améliorer considérablement la qualité des réponses LLM, il comporte également un risque d’hallucinations.
Il y a deux aspects principaux : le désalignement des capacités et le désalignement des croyances.
Comment détecter les hallucinations ?
La détection des illusions dans les LLM est essentielle pour garantir la fiabilité et la crédibilité du contenu généré.
Les mesures traditionnelles reposent fortement sur le chevauchement des mots et ne parviennent pas à distinguer les différences subtiles entre le contenu crédible et le contenu hallucinatoire.
Ce défi met en évidence la nécessité de méthodes de détection plus avancées pour les hallucinations LLM. Compte tenu de la diversité de ces hallucinations, les chercheurs ont noté que les méthodes de détection varient en conséquence.
Voici un exemple en détail :
Recherche de faits externes
Comme le montre la figure ci-dessous, afin de souligner efficacement le fait qu’il y a des inexactitudes dans la sortie LLM, une stratégie plus intuitive consiste à comparer directement le contenu généré par le modèle avec des sources de connaissances fiables.
Cette approche s’intègre bien au flux de travail des tâches de vérification des faits. Cependant, les méthodes traditionnelles de vérification des faits utilisent souvent des hypothèses simplifiées pour des raisons pratiques, ce qui peut entraîner des biais lorsqu’elles sont appliquées à des scénarios complexes du monde réel.
Reconnaissant ces limites, certains chercheurs ont suggéré de mettre davantage l’accent sur les scénarios du monde réel, c’est-à-dire les preuves provenant de sources en ligne limitées dans le temps et non organisées.
Ils ont été les pionniers d’un flux de travail entièrement automatisé qui intègre plusieurs composants, notamment la récupération des documents originaux, la recherche fine, la classification de l’authenticité, etc.
BIEN SÛR, IL Y A UN CERTAIN NOMBRE D’AUTRES CHERCHEURS QUI ONT MIS AU POINT D’AUTRES APPROCHES, TELLES QUE FACTSCORE, UNE MESURE FINE DES FAITS SPÉCIFIQUEMENT POUR LA GÉNÉRATION DE LONGS TEXTES.
Métriques basées sur des classificateurs : tirez parti des classificateurs entraînés pour distinguer le degré d’association entre le contenu généré et le contenu source.
Mesures basées sur l’assurance qualité : tirez parti d’un système de réponse aux questions pour vérifier la cohérence des informations entre le contenu source et le contenu généré.
Estimation de l’incertitude : évalue la fidélité en mesurant la confiance du modèle dans la sortie qu’il génère.
Approche basée sur la mesure : Laissez le LLM agir en tant qu’évaluateur, en utilisant des stratégies spécifiques pour évaluer la fidélité du contenu généré.
Après cela, l’équipe de l’Institut de technologie de Harbin a également mis au point les méthodes les plus avancées pour soulager les hallucinations et a fourni des solutions réalisables aux problèmes mentionnés ci-dessus.
Résumé
Dans l’ensemble, à la fin de l’article, les chercheurs de l’Institut de technologie de Harbin ont déclaré que dans cette revue complète, ils ont mené une étude approfondie du phénomène des hallucinations dans les grands modèles de langage, en approfondissant la complexité de ses causes sous-jacentes, en mettant au point des méthodes de détection et des points de référence connexes, ainsi que des stratégies d’atténuation efficaces.
Bien que les développeurs aient fait beaucoup de progrès sur cette question, le problème des hallucinations dans les grands modèles de langage est toujours une préoccupation constante qui doit être étudiée plus avant.
De plus, ce document peut être utilisé comme guide pour promouvoir une IA sûre et digne de confiance.
L’équipe de l’Institut de technologie de Harbin a déclaré qu’elle espérait fournir des informations précieuses à ces personnes aux idéaux élevés grâce à l’exploration du problème complexe de l’illusion, et promouvoir le développement de la technologie de l’IA dans une direction plus fiable et plus sûre.
Ressources: