Teste de 4 grandes modelos, resultados mais exagerados que "envenenamento de IA": há IA que diz que a gala 315 deste ano ainda não foi realizada

Fonte: Plataforma de Desmentido de Xangai

A Gala da CCTV “3·15” de 2026 foi transmitida na noite de 15 de março. Entre os tópicos expostos, o negócio de “envenenamento de grandes modelos de IA” chamado GEO (Engine de Otimização Generativa) foi divulgado, levando muitas pessoas a perceberem que confiar nas recomendações da IA é arriscado, pois comerciantes ilegais podem criar em massa avaliações falsas, falsificar recomendações de autoridades e “alimentar” esses dados nos grandes modelos, fazendo com que a IA forneça “recomendações personalizadas”.

No entanto, alguns consumidores questionaram após verem os casos expostos: se não fizerem perguntas subjetivas como “Qual marca é melhor?” ou “Quais serviços são populares?”, apenas consultando informações objetivas, é confiável confiar nas respostas dos grandes modelos de IA?

A resposta também é negativa.

Perguntar repetidamente aos grandes modelos aumenta os erros

No dia 16 de março, um repórter realizou um teste simples com os quatro principais grandes modelos de IA mais utilizados pelos consumidores: perguntou a eles a mesma questão “Quais marcas foram expostas na Gala CCTV ‘3·15’ de 2026?”. O resultado foi que apenas um modelo respondeu corretamente. Nos outros três, dois deram respostas que incluíam não só casos deste ano, mas também de anos anteriores; o último foi o mais absurdo, respondendo que “a Gala CCTV ‘3·15’ de 2026 ainda não foi realizada. Como hoje é 16 de março de 2026, se a gala foi transmitida normalmente em 15 de março, as exposições relacionadas geralmente seriam publicadas simultaneamente na CCTV Finance, no aplicativo de notícias da CCTV e em várias plataformas de mídia.”

Modelo que respondeu corretamente (captura de tela da resposta, mesma referência abaixo)

Dois grandes modelos confundiram casos de anos anteriores com os de 2026

Um deles respondeu: Ainda não foi realizada

Alguns consumidores argumentaram que, embora incluir casos de anos anteriores pareça não estar totalmente errado, pois “a resposta é bastante completa”, os técnicos disseram que isso revela claramente uma deficiência nos modelos: a questão apresentada tinha uma “resposta padrão”, mas o modelo errou, indicando uma falha grave na compreensão semântica e na filtragem de dados.

Ao serem questionados pelos repórteres, esses dois modelos “muito entusiasmados” também revelaram outros problemas.

Um exemplo foi o caso de uso de “agente umectante (popularmente conhecido como ‘pó de remédio’) para aumentar o peso de camarões”, exposto na Gala CCTV ‘3·15’ do ano passado. Então, o repórter perguntou aos dois modelos que usaram esse caso como exemplo de 2026: “Onde estão os links das reportagens da CCTV sobre o aumento de peso de camarões?” Um deles forneceu vários links, incluindo “Reprodução completa da Gala CCTV ‘3·15’”, “Reportagem especial da CCTV News (texto + vídeo)” e “Página especial da CCTV Finance ‘3·15’”, parecendo bastante confiável. Mas, ao clicar nos links, as páginas exibiam “Desculpe, pode ser um problema de rede ou a página não existe, tente novamente mais tarde”. Mesmo copiando os links para o navegador, não era possível abrir. Assim, os links fornecidos pelo modelo não eram suficientes para validar sua resposta.

Os links de validação fornecidos pelo modelo indicavam que eram do site da CCTV, parecendo confiáveis, mas na prática não abriam (captura de tela da página)

Outro modelo forneceu links de diferentes fontes, como CCTV, Baijiahao, NetEase News, e todos eram acessíveis, mas surgiram novos problemas.

O primeiro link era de uma reportagem oficial da CCTV (CCTV), realmente sobre “camarões com agente umectante”, mas a data no site e no conteúdo era 15 de março de 2025. O modelo parece ter notado isso e, ao fornecer o link, acrescentou uma observação: “Alguns resultados de busca mostram o ano como 2025, mas o conteúdo é uma reportagem do mesmo período da gala de 2026, possivelmente devido a arquivamento do site ou regras de geração de URL, por favor, considere o conteúdo real da página.” Assim, o modelo não só não percebeu seu erro, como tentou justificá-lo.

O segundo link fornecido pelo modelo era uma análise de um influenciador sobre a gala de 2026, cuja autoridade é questionável. Quanto ao conteúdo, continha muitos erros, sendo o mais evidente que a “análise” afirmava que o primeiro caso exposto na gala de 2026 seria o de “camarões com pó de remédio” — o que explica por que o modelo usou esse link como referência. O repórter também verificou a “AI-quantidade” dessa análise, que foi classificada como com “características de criação humana fracas”. Em outras palavras, provavelmente foi gerada por um grande modelo, o que explica a discrepância nos casos apresentados.

Erro na “análise” de influenciador (captura de tela da página)

Após análise, ficou claro que há fortes indícios de geração por IA na “análise” do influenciador (captura de tela)

A ilusão da IA está evoluindo, a verificação é essencial para a verdade

“Muitos usuários de grandes modelos de IA já perceberam que, para satisfazer os usuários, a IA às vezes inventa conteúdos inexistentes ou mistura informações irrelevantes, falando com toda seriedade coisas que não são verdade. Embora os desenvolvedores de grandes modelos estejam tentando eliminar a ilusão da IA, os resultados atuais não são ideais. Até o momento, nenhuma IA geral consegue eliminar completamente a ilusão.” explicou Xiaohui, que trabalha no desenvolvimento de grandes modelos em uma empresa de tecnologia.

A base dos grandes modelos é a geração probabilística de conteúdo, eles não possuem uma verdadeira capacidade de “compreensão”. Os modelos apenas buscam padrões estatísticos em uma vasta quantidade de dados. Quando enfrentam questões desconhecidas ou ambíguas, eles fazem combinações “razoáveis” com base nos padrões comuns nos dados de treinamento, o que é a causa fundamental da ilusão da IA. Os erros ao fazer perguntas e respostas ao modelo derivam dessa ilusão.

Xiaohui também afirmou que “envenenar” a IA é uma forma de explorar essa ilusão: “Empresas de GEO alimentam massivamente informações falsas na internet, alterando a distribuição de dados e probabilidades estatísticas em áreas específicas, induzindo o grande modelo a gerar respostas que beneficiam os comerciantes, mas que são contrárias à realidade.”

Ele alerta que o público deve estar atento à ilusão da IA. Os grandes modelos não são inúteis, mas devem ser usados de forma segura, consciente e correta. Pessoas comuns devem manter uma postura de questionamento diante dos resultados da IA. A estratégia mais simples é lembrar das palavras-chave “limitar, verificar, questionar, checar”.

Primeiro, ao fazer perguntas, limite o escopo, usando expressões como “pesquisar no site oficial de determinada instituição” ou “consultar reportagens de fontes confiáveis”, para reduzir a ilusão da IA.

Segundo, envie a mesma questão para diferentes grandes modelos e compare as respostas. Se houver discrepâncias, questione imediatamente.

Por fim, exija que o modelo forneça links de referência para suas respostas e faça uma verificação manual. Se não houver fontes claras, fontes vagas ou links duvidosos, a confiabilidade da resposta diminui ainda mais.

Além disso, é importante considerar o cenário de uso da IA. Em áreas de alto risco, como diagnóstico médico, recomendações de medicamentos, decisões jurídicas, investimentos, crédito financeiro, etc., as respostas da IA devem ser vistas apenas como “referência” e nunca como base para decisões.