Desde que os LLMs entraram em nosso campo de visão, o problema da ilusão sempre foi um obstáculo que atormentou inúmeros desenvolvedores.
É claro que tem havido inúmeros estudos sobre a questão das alucinações de grandes modelos de linguagem.
Recentemente, uma equipe do Harbin Institute of Technology e da Huawei publicou uma revisão de 50 páginas que fornece uma visão abrangente e aprofundada dos últimos desenvolvimentos sobre alucinações LLM.
Partindo de uma classificação inovadora de alucinações LLM, esta revisão investiga os fatores que podem contribuir para as alucinações e fornece uma visão geral dos métodos e referências para detetar alucinações.
Entre eles, deve haver alguns dos métodos mais representativos na indústria para reduzir as alucinações.
Endereço:
Vamos dar uma olhada no que estamos falando nesta revisão.
Se você quiser estudar a fundo, você pode ir para o link de referência na parte inferior do artigo e ler o artigo original.
Categoria Ilusão
Primeiro, vamos dar uma olhada nos tipos de alucinações.
Na imagem acima, à esquerda há uma alucinação factual. Quando perguntaram a LLM quem foi a primeira pessoa a pisar na lua, LLM inventou um personagem e até disse isso de certa forma.
À direita está o problema de fidelidade no modelo de resumo de texto, e você pode ver que o LLM resumiu diretamente o ano incorretamente depois de ver esta notícia.
Nesta revisão, os pesquisadores fornecem uma análise aprofundada das origens das alucinações em LLMs, cobrindo uma gama de fatores contribuintes, desde dados até treinamento e fase de inferência.
Dentro desse quadro, os pesquisadores apontam possíveis razões relacionadas aos dados. Por exemplo, fontes de dados defeituosas e utilização de dados não otimizada, ou estratégias de treinamento que podem induzir alucinações durante o pré-treinamento e alinhamento, bem como aleatoriedade decorrente de estratégias de decodificação e representações imperfeitas no processo de inferência, para citar alguns.
Além disso, os pesquisadores fornecem uma visão abrangente dos vários métodos eficazes projetados especificamente para a deteção de alucinações em LLMs, bem como uma visão detalhada dos parâmetros de referência associados às alucinações LLM, e como uma plataforma de teste para avaliar até que ponto LLMs produzem alucinações e a eficácia dos métodos de deteção.
A figura abaixo mostra o conteúdo desta revisão, pesquisas anteriores e artigos.
A imagem abaixo é um diagrama mais detalhado dos tipos de alucinações LLM.
Sob a ilusão factual e a ilusão de fidelidade, inclui-se também uma classificação mais matizada.
Alucinações do tipo facto:
a) Incoerências factuais
Quando perguntado quem foi o primeiro homem a pousar na Lua, o LLM respondeu que era Gagarin, não Armstrong. Este tipo de resposta é inconsistente com os factos, porque existe de facto o próprio Gagarin, pelo que não se trata de uma invenção.
b) Falsificação de factos
Quando o LLM foi solicitado a descrever a origem dos unicórnios, o LLM não apontou que não existia um unicórnio no mundo, mas em vez disso compôs um grande parágrafo. Esse tipo de coisa que não está disponível no mundo real é chamado de fabricação.
A ilusão de fidelidade também inclui: inconsistências instrução-resposta, inconsistências textuais e inconsistências lógicas.
a) Incoerências instrução-resposta
Quando um LLM é solicitado a traduzir uma pergunta, a saída da resposta pelo LLM realmente responde à pergunta e não é traduzida. Daí uma incoerência entre instruções e respostas.
b) Incoerências no texto
Este tipo de inconsistência é mais comum em tarefas de generalização. O LLM pode ignorar o texto dado e resumir um erro a sair.
c) Incoerências lógicas
Quando solicitado a dar uma solução para a equação de 2x+3=11, o primeiro passo LLM afirma que 3 é subtraído de ambos os lados ao mesmo tempo para obter 2x=8.
Como pode 8 dividido por 2 igual a 3?
Princípio da alucinação
DADOS
Em seguida, a revisão começa a classificar os princípios das alucinações.
A primeira categoria são os problemas de dados.
Desinformação e parcialidade. Dada a crescente demanda por corpora em grande escala, métodos heurísticos de coleta de dados são usados para coletar eficientemente grandes quantidades de dados.
Embora esta abordagem forneça uma grande quantidade de dados, pode introduzir inadvertidamente desinformação e aumentar o risco de erros de imitação. Além disso, vieses sociais também podem ser introduzidos inadvertidamente no processo de aprendizagem de LLMs.
Esses vieses incluem principalmente o viés de repetição e vários vieses sociais.
É importante saber que o principal objetivo do pré-treinamento LLM é imitar a distribuição do treinamento. Assim, quando os LLMs são treinados em dados factualmente incorretos, eles podem inadvertidamente amplificar esses dados imprecisos, o que pode levar à ilusão de que factualmente está incorreto.
As redes neurais, especialmente os grandes modelos de linguagem, têm uma tendência intrínseca para memorizar dados de treinamento. Estudos têm demonstrado que esta tendência para a memória aumenta à medida que o tamanho do modelo aumenta.
No entanto, no caso de informações duplicadas nos dados de pré-treinamento, a capacidade de memória inerente pode ser problemática. Essa repetição desloca o LLM da generalização para a memorização, eventualmente criando um viés de repetição, ou seja, o LLM dará muita prioridade à lembrança de dados duplicados, levando a alucinações e, finalmente, desviando-se do que é desejado.
Para além destes enviesamentos, as diferenças na distribuição dos dados são também causas potenciais de alucinações.
O próximo caso é que os LLMs geralmente têm limites de conhecimento.
Embora um grande número de corpora pré-treinamento forneça uma ampla gama de conhecimentos factuais para LLMs, eles têm suas próprias limitações. Esta limitação manifesta-se principalmente em dois aspetos: a falta de conhecimento factual atualizado e de conhecimento do domínio.
Embora os LLMs tenham demonstrado excelente desempenho em uma variedade de tarefas a jusante no domínio geral, sua experiência no domínio especializado é inerentemente limitada pela falta de dados de treinamento relevantes, porque esses LLMs de uso geral são treinados principalmente em uma ampla gama de conjuntos de dados disponíveis publicamente.
Como resultado, quando confrontados com questões que exigem conhecimento específico do domínio, como questões médicas e legais, esses modelos podem exibir alucinações significativas, muitas vezes manifestando-se como fatos fabricados.
Além disso, há um conhecimento factual ultrapassado. Além da falta de conhecimento específico do domínio, outra limitação inerente dos limites de conhecimento dos LLMs é sua capacidade limitada de adquirir conhecimento atualizado.
O conhecimento factual incorporado nos LLMs tem limites temporais claros e pode tornar-se obsoleto ao longo do tempo.
Uma vez formados estes modelos, os seus conhecimentos internos nunca são atualizados.
E dada a natureza dinâmica e em constante mudança do nosso mundo, isto representa um desafio. Quando confrontados com o conhecimento de domínio que está além de seu período de tempo, os LLMs muitas vezes recorrem à fabricação de fatos ou ao fornecimento de respostas que podem ter sido corretas no passado, mas agora estão desatualizadas na tentativa de "sobreviver".
Na figura abaixo, a metade superior mostra o LLM faltando experiência em uma área específica, a fenilcetonúria.
A segunda metade é o caso mais simples de conhecimento ultrapassado. Em 2018, Pyeongchang, na Coreia do Sul, sediou os Jogos Olímpicos de inverno e, em 2022, Pequim sediou os Jogos Olímpicos de inverno. Os LLM não têm conhecimento desta última.
Pode-se ver que as ilusões relacionadas a dados em LLMs decorrem principalmente de fontes de dados erradas e má utilização de dados. A desinformação e o enviesamento inerente às fontes de dados não só propagam a desinformação de paródia, mas também introduzem resultados tendenciosos que conduzem a várias formas de alucinações.
As limitações do conhecimento possuído pelos LLMs tornam-se evidentes quando se lida com conhecimento em um domínio específico ou quando se depara com conhecimento factual que é atualizado rapidamente.
Quando se trata de utilização de dados, os LLMs tendem a capturar correlações falsas, exibem dificuldades em recordar conhecimento (especialmente informações de cauda longa) e cenários de raciocínio complexos, exacerbando ainda mais as alucinações.
Esses desafios destacam a necessidade urgente de melhorar a qualidade dos dados e aumentar a capacidade do modelo de aprender e recordar conhecimentos factuais de forma mais eficaz.
Formação
Agora, a revisão se volta para a fase de treinamento dos LLMs.
O processo de formação do LLM consiste em duas fases principais:
A fase de pré-formação, na qual os LLMs aprendem representações gerais e capturam uma ampla gama de conhecimentos.
A fase de alinhamento, onde os LLMs se ajustam para alinhar melhor as instruções do usuário com os valores humanos fundamentais. Embora este processo tenha resultado num desempenho decente para o LLM, quaisquer deficiências nestas fases podem inadvertidamente levar a alucinações.
O pré-treinamento é o estágio básico dos LLMs, que geralmente adotam uma arquitetura baseada em transformadores para modelar a linguagem causal em um corpus enorme.
No entanto, o desenho arquitetónico inerente e as estratégias de formação específicas utilizadas pelos investigadores podem criar problemas relacionados com alucinações. Como mencionado acima, os LLMs normalmente adotam arquiteturas baseadas em transformadores que seguem o paradigma estabelecido pelo GPT, que obtém representações através de alvos de modelagem de linguagem causal, com modelos como OPT e Llama-2 sendo exemplos dessa estrutura.
Para além das deficiências estruturais, as estratégias de formação desempenham também um papel crucial. É importante notar que a diferença entre o treinamento e a inferência do modelo generativo autorregressivo leva ao fenômeno do viés de exposição.
E na fase de alinhamento, que geralmente envolve dois processos principais, o ajuste fino supervisionado e a aprendizagem de reforço a partir do feedback humano (RLHF), é um passo crítico para desbloquear as capacidades de LLM e alinhá-las com as preferências humanas.
Embora o alinhamento possa melhorar significativamente a qualidade das respostas LLM, também acarreta o risco de alucinações.
Há dois aspetos principais: desalinhamento de capacidades e desalinhamento de crenças.
Como detetar alucinações?
Detetar ilusões em LLMs é fundamental para garantir a confiabilidade e credibilidade do conteúdo gerado.
As medidas tradicionais baseiam-se fortemente na sobreposição de palavras e não conseguem distinguir as diferenças subtis entre conteúdo credível e alucinatório.
Este desafio destaca a necessidade de métodos de deteção mais avançados para alucinações LLM. Dada a diversidade dessas alucinações, os pesquisadores observaram que os métodos de deteção variam de acordo.
Aqui está apenas um exemplo em detalhe –
Pesquisa de factos externos
Como mostra a figura abaixo, a fim de efetivamente apontar o fato de que existem imprecisões na saída do LLM, uma estratégia mais intuitiva é comparar diretamente o conteúdo gerado pelo modelo com fontes de conhecimento confiáveis.
Essa abordagem se encaixa bem com o fluxo de trabalho de tarefas de verificação de fatos. No entanto, os métodos tradicionais de verificação de factos empregam frequentemente pressupostos simplificados por razões práticas, o que pode levar a enviesamentos quando aplicados a cenários complexos do mundo real.
Reconhecendo essas limitações, alguns pesquisadores sugeriram que mais ênfase deveria ser colocada em cenários do mundo real, ou seja, evidências de fontes on-line limitadas no tempo e sem curadoria.
Eles foram pioneiros em um fluxo de trabalho totalmente automatizado que integra vários componentes, incluindo recuperação de documentos originais, pesquisa refinada, classificação de autenticidade e muito mais.
É CLARO QUE HÁ UMA SÉRIE DE OUTROS PESQUISADORES QUE CRIARAM OUTRAS ABORDAGENS, COMO O FACTSCORE, UMA MEDIDA REFINADA DE FATO ESPECIFICAMENTE PARA GERAÇÃO DE TEXTO LONGO.
Outros métodos incluem a estimativa da incerteza, como mostra a figura abaixo.
Há também uma série de estudos sobre a deteção de ilusões de fidelidade, como mostra a figura abaixo.
Isso inclui métricas baseadas em fatos: avaliar a fidelidade detetando a sobreposição factual entre o conteúdo gerado e o conteúdo de origem.
Métricas baseadas em classificadores: aproveite classificadores treinados para distinguir o grau de associação entre o conteúdo gerado e o conteúdo de origem.
Métricas baseadas em QA: aproveite um sistema de resposta a perguntas para verificar a consistência das informações entre a fonte e o conteúdo gerado.
Estimativa da incerteza: Avalia a fidelidade medindo a confiança do modelo em sua produção gerada.
Abordagem baseada em medição: Deixe o LLM agir como um avaliador, usando estratégias específicas para avaliar a fidelidade do conteúdo gerado.
Depois disso, a equipe do Harbin Institute of Technology também selecionou os métodos mais avançados para aliviar alucinações e forneceu soluções viáveis para os problemas acima mencionados.
Resumo
Em suma, no final do artigo, os pesquisadores do Harbin Institute of Technology disseram que, nesta revisão abrangente, realizaram um estudo aprofundado do fenômeno das alucinações em grandes modelos de linguagem, aprofundando a complexidade de suas causas subjacentes, métodos de deteção pioneiros e benchmarks relacionados, e estratégias de mitigação eficazes.
Embora os desenvolvedores tenham feito muitos progressos nesta questão, o problema das alucinações em grandes modelos de linguagem ainda é uma preocupação contínua que precisa ser mais estudada.
Além disso, este documento pode ser usado como uma luz orientadora para promover uma IA segura e confiável.
A equipe do Harbin Institute of Technology disse que espera fornecer insights valiosos para essas pessoas com ideais elevados através da exploração do complexo problema da ilusão e promover o desenvolvimento da tecnologia de IA em uma direção mais confiável e segura.
Recursos:
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
A revisão de 50 páginas da equipe do Harbin Institute of Technology foi divulgada
Fonte original: New Zhiyuan
Alucinações, velhos amigos.
Desde que os LLMs entraram em nosso campo de visão, o problema da ilusão sempre foi um obstáculo que atormentou inúmeros desenvolvedores.
É claro que tem havido inúmeros estudos sobre a questão das alucinações de grandes modelos de linguagem.
Recentemente, uma equipe do Harbin Institute of Technology e da Huawei publicou uma revisão de 50 páginas que fornece uma visão abrangente e aprofundada dos últimos desenvolvimentos sobre alucinações LLM.
Partindo de uma classificação inovadora de alucinações LLM, esta revisão investiga os fatores que podem contribuir para as alucinações e fornece uma visão geral dos métodos e referências para detetar alucinações.
Entre eles, deve haver alguns dos métodos mais representativos na indústria para reduzir as alucinações.
Vamos dar uma olhada no que estamos falando nesta revisão.
Se você quiser estudar a fundo, você pode ir para o link de referência na parte inferior do artigo e ler o artigo original.
Categoria Ilusão
Primeiro, vamos dar uma olhada nos tipos de alucinações.
À direita está o problema de fidelidade no modelo de resumo de texto, e você pode ver que o LLM resumiu diretamente o ano incorretamente depois de ver esta notícia.
Nesta revisão, os pesquisadores fornecem uma análise aprofundada das origens das alucinações em LLMs, cobrindo uma gama de fatores contribuintes, desde dados até treinamento e fase de inferência.
Dentro desse quadro, os pesquisadores apontam possíveis razões relacionadas aos dados. Por exemplo, fontes de dados defeituosas e utilização de dados não otimizada, ou estratégias de treinamento que podem induzir alucinações durante o pré-treinamento e alinhamento, bem como aleatoriedade decorrente de estratégias de decodificação e representações imperfeitas no processo de inferência, para citar alguns.
Além disso, os pesquisadores fornecem uma visão abrangente dos vários métodos eficazes projetados especificamente para a deteção de alucinações em LLMs, bem como uma visão detalhada dos parâmetros de referência associados às alucinações LLM, e como uma plataforma de teste para avaliar até que ponto LLMs produzem alucinações e a eficácia dos métodos de deteção.
A figura abaixo mostra o conteúdo desta revisão, pesquisas anteriores e artigos.
Alucinações do tipo facto:
a) Incoerências factuais
Quando perguntado quem foi o primeiro homem a pousar na Lua, o LLM respondeu que era Gagarin, não Armstrong. Este tipo de resposta é inconsistente com os factos, porque existe de facto o próprio Gagarin, pelo que não se trata de uma invenção.
b) Falsificação de factos
Quando o LLM foi solicitado a descrever a origem dos unicórnios, o LLM não apontou que não existia um unicórnio no mundo, mas em vez disso compôs um grande parágrafo. Esse tipo de coisa que não está disponível no mundo real é chamado de fabricação.
A ilusão de fidelidade também inclui: inconsistências instrução-resposta, inconsistências textuais e inconsistências lógicas.
a) Incoerências instrução-resposta
Quando um LLM é solicitado a traduzir uma pergunta, a saída da resposta pelo LLM realmente responde à pergunta e não é traduzida. Daí uma incoerência entre instruções e respostas.
b) Incoerências no texto
Este tipo de inconsistência é mais comum em tarefas de generalização. O LLM pode ignorar o texto dado e resumir um erro a sair.
c) Incoerências lógicas
Quando solicitado a dar uma solução para a equação de 2x+3=11, o primeiro passo LLM afirma que 3 é subtraído de ambos os lados ao mesmo tempo para obter 2x=8.
Como pode 8 dividido por 2 igual a 3?
Princípio da alucinação
DADOS
Em seguida, a revisão começa a classificar os princípios das alucinações.
Desinformação e parcialidade. Dada a crescente demanda por corpora em grande escala, métodos heurísticos de coleta de dados são usados para coletar eficientemente grandes quantidades de dados.
Embora esta abordagem forneça uma grande quantidade de dados, pode introduzir inadvertidamente desinformação e aumentar o risco de erros de imitação. Além disso, vieses sociais também podem ser introduzidos inadvertidamente no processo de aprendizagem de LLMs.
Esses vieses incluem principalmente o viés de repetição e vários vieses sociais.
É importante saber que o principal objetivo do pré-treinamento LLM é imitar a distribuição do treinamento. Assim, quando os LLMs são treinados em dados factualmente incorretos, eles podem inadvertidamente amplificar esses dados imprecisos, o que pode levar à ilusão de que factualmente está incorreto.
As redes neurais, especialmente os grandes modelos de linguagem, têm uma tendência intrínseca para memorizar dados de treinamento. Estudos têm demonstrado que esta tendência para a memória aumenta à medida que o tamanho do modelo aumenta.
No entanto, no caso de informações duplicadas nos dados de pré-treinamento, a capacidade de memória inerente pode ser problemática. Essa repetição desloca o LLM da generalização para a memorização, eventualmente criando um viés de repetição, ou seja, o LLM dará muita prioridade à lembrança de dados duplicados, levando a alucinações e, finalmente, desviando-se do que é desejado.
Para além destes enviesamentos, as diferenças na distribuição dos dados são também causas potenciais de alucinações.
O próximo caso é que os LLMs geralmente têm limites de conhecimento.
Embora um grande número de corpora pré-treinamento forneça uma ampla gama de conhecimentos factuais para LLMs, eles têm suas próprias limitações. Esta limitação manifesta-se principalmente em dois aspetos: a falta de conhecimento factual atualizado e de conhecimento do domínio.
Embora os LLMs tenham demonstrado excelente desempenho em uma variedade de tarefas a jusante no domínio geral, sua experiência no domínio especializado é inerentemente limitada pela falta de dados de treinamento relevantes, porque esses LLMs de uso geral são treinados principalmente em uma ampla gama de conjuntos de dados disponíveis publicamente.
Como resultado, quando confrontados com questões que exigem conhecimento específico do domínio, como questões médicas e legais, esses modelos podem exibir alucinações significativas, muitas vezes manifestando-se como fatos fabricados.
Além disso, há um conhecimento factual ultrapassado. Além da falta de conhecimento específico do domínio, outra limitação inerente dos limites de conhecimento dos LLMs é sua capacidade limitada de adquirir conhecimento atualizado.
O conhecimento factual incorporado nos LLMs tem limites temporais claros e pode tornar-se obsoleto ao longo do tempo.
Uma vez formados estes modelos, os seus conhecimentos internos nunca são atualizados.
E dada a natureza dinâmica e em constante mudança do nosso mundo, isto representa um desafio. Quando confrontados com o conhecimento de domínio que está além de seu período de tempo, os LLMs muitas vezes recorrem à fabricação de fatos ou ao fornecimento de respostas que podem ter sido corretas no passado, mas agora estão desatualizadas na tentativa de "sobreviver".
Na figura abaixo, a metade superior mostra o LLM faltando experiência em uma área específica, a fenilcetonúria.
A segunda metade é o caso mais simples de conhecimento ultrapassado. Em 2018, Pyeongchang, na Coreia do Sul, sediou os Jogos Olímpicos de inverno e, em 2022, Pequim sediou os Jogos Olímpicos de inverno. Os LLM não têm conhecimento desta última.
As limitações do conhecimento possuído pelos LLMs tornam-se evidentes quando se lida com conhecimento em um domínio específico ou quando se depara com conhecimento factual que é atualizado rapidamente.
Quando se trata de utilização de dados, os LLMs tendem a capturar correlações falsas, exibem dificuldades em recordar conhecimento (especialmente informações de cauda longa) e cenários de raciocínio complexos, exacerbando ainda mais as alucinações.
Esses desafios destacam a necessidade urgente de melhorar a qualidade dos dados e aumentar a capacidade do modelo de aprender e recordar conhecimentos factuais de forma mais eficaz.
Formação
Agora, a revisão se volta para a fase de treinamento dos LLMs.
O processo de formação do LLM consiste em duas fases principais:
A fase de pré-formação, na qual os LLMs aprendem representações gerais e capturam uma ampla gama de conhecimentos.
A fase de alinhamento, onde os LLMs se ajustam para alinhar melhor as instruções do usuário com os valores humanos fundamentais. Embora este processo tenha resultado num desempenho decente para o LLM, quaisquer deficiências nestas fases podem inadvertidamente levar a alucinações.
O pré-treinamento é o estágio básico dos LLMs, que geralmente adotam uma arquitetura baseada em transformadores para modelar a linguagem causal em um corpus enorme.
No entanto, o desenho arquitetónico inerente e as estratégias de formação específicas utilizadas pelos investigadores podem criar problemas relacionados com alucinações. Como mencionado acima, os LLMs normalmente adotam arquiteturas baseadas em transformadores que seguem o paradigma estabelecido pelo GPT, que obtém representações através de alvos de modelagem de linguagem causal, com modelos como OPT e Llama-2 sendo exemplos dessa estrutura.
Para além das deficiências estruturais, as estratégias de formação desempenham também um papel crucial. É importante notar que a diferença entre o treinamento e a inferência do modelo generativo autorregressivo leva ao fenômeno do viés de exposição.
E na fase de alinhamento, que geralmente envolve dois processos principais, o ajuste fino supervisionado e a aprendizagem de reforço a partir do feedback humano (RLHF), é um passo crítico para desbloquear as capacidades de LLM e alinhá-las com as preferências humanas.
Embora o alinhamento possa melhorar significativamente a qualidade das respostas LLM, também acarreta o risco de alucinações.
Há dois aspetos principais: desalinhamento de capacidades e desalinhamento de crenças.
Como detetar alucinações?
Detetar ilusões em LLMs é fundamental para garantir a confiabilidade e credibilidade do conteúdo gerado.
As medidas tradicionais baseiam-se fortemente na sobreposição de palavras e não conseguem distinguir as diferenças subtis entre conteúdo credível e alucinatório.
Este desafio destaca a necessidade de métodos de deteção mais avançados para alucinações LLM. Dada a diversidade dessas alucinações, os pesquisadores observaram que os métodos de deteção variam de acordo.
Aqui está apenas um exemplo em detalhe –
Pesquisa de factos externos
Como mostra a figura abaixo, a fim de efetivamente apontar o fato de que existem imprecisões na saída do LLM, uma estratégia mais intuitiva é comparar diretamente o conteúdo gerado pelo modelo com fontes de conhecimento confiáveis.
Essa abordagem se encaixa bem com o fluxo de trabalho de tarefas de verificação de fatos. No entanto, os métodos tradicionais de verificação de factos empregam frequentemente pressupostos simplificados por razões práticas, o que pode levar a enviesamentos quando aplicados a cenários complexos do mundo real.
Reconhecendo essas limitações, alguns pesquisadores sugeriram que mais ênfase deveria ser colocada em cenários do mundo real, ou seja, evidências de fontes on-line limitadas no tempo e sem curadoria.
Eles foram pioneiros em um fluxo de trabalho totalmente automatizado que integra vários componentes, incluindo recuperação de documentos originais, pesquisa refinada, classificação de autenticidade e muito mais.
É CLARO QUE HÁ UMA SÉRIE DE OUTROS PESQUISADORES QUE CRIARAM OUTRAS ABORDAGENS, COMO O FACTSCORE, UMA MEDIDA REFINADA DE FATO ESPECIFICAMENTE PARA GERAÇÃO DE TEXTO LONGO.
Métricas baseadas em classificadores: aproveite classificadores treinados para distinguir o grau de associação entre o conteúdo gerado e o conteúdo de origem.
Métricas baseadas em QA: aproveite um sistema de resposta a perguntas para verificar a consistência das informações entre a fonte e o conteúdo gerado.
Estimativa da incerteza: Avalia a fidelidade medindo a confiança do modelo em sua produção gerada.
Abordagem baseada em medição: Deixe o LLM agir como um avaliador, usando estratégias específicas para avaliar a fidelidade do conteúdo gerado.
Depois disso, a equipe do Harbin Institute of Technology também selecionou os métodos mais avançados para aliviar alucinações e forneceu soluções viáveis para os problemas acima mencionados.
Resumo
Em suma, no final do artigo, os pesquisadores do Harbin Institute of Technology disseram que, nesta revisão abrangente, realizaram um estudo aprofundado do fenômeno das alucinações em grandes modelos de linguagem, aprofundando a complexidade de suas causas subjacentes, métodos de deteção pioneiros e benchmarks relacionados, e estratégias de mitigação eficazes.
Embora os desenvolvedores tenham feito muitos progressos nesta questão, o problema das alucinações em grandes modelos de linguagem ainda é uma preocupação contínua que precisa ser mais estudada.
Além disso, este documento pode ser usado como uma luz orientadora para promover uma IA segura e confiável.
A equipe do Harbin Institute of Technology disse que espera fornecer insights valiosos para essas pessoas com ideais elevados através da exploração do complexo problema da ilusão e promover o desenvolvimento da tecnologia de IA em uma direção mais confiável e segura.
Recursos: