"Envenenamento" de modelos de IA em larga escala? Profissionais da indústria revelam os truques do GEO

À medida que a IA se torna uma infraestrutura fundamental na vida quotidiana, pagar as taxas correspondentes pode fazer com que um produto destaque-se nos principais grandes modelos de IA e seja considerado a “resposta padrão” fornecida pelo modelo de IA?

Este ano, a transmissão do programa 315 da CCTV revelou que um serviço chamado GEO (Otimização de Motor de Geração) está a surgir nas plataformas online. Os fornecedores de serviços afirmam que, pagando uma taxa, podem colocar o produto do cliente entre os três primeiros resultados em qualquer grande modelo de IA.

Investigando, os jornalistas da CCTV descobriram que alguns fornecedores de GEO escrevem e publicam muitos textos promocionais na internet, permitindo que os modelos de IA capturem e treinem com esses conteúdos, aumentando assim a classificação do produto do cliente nas recomendações de IA. Um responsável por um fornecedor afirmou que a essência do seu negócio é “escrever textos promocionais e fazer com que a plataforma de IA os leia, insira e capture”. Como os algoritmos de IA são atualizados frequentemente, para manter recomendações contínuas, é necessário lançar constantemente grande quantidade de conteúdo relacionado.

Especialistas também realizaram um experimento ao vivo usando um software chamado “Sistema de Otimização GEO de LQing”: inventaram uma pulseira inteligente e geraram automaticamente mais de dez textos promocionais para serem publicados na internet. Depois, ao pesquisar por “recomendação de pulseira de saúde inteligente” em grandes modelos de IA, dois desses modelos recomendaram um produto que na verdade não existe, e ficaram em posições de destaque.

Alguns fornecedores de GEO afirmam que “GEO popularizou os sites. Esses sites normalmente não têm lucro, mas de repente surgem demandas de publicação de artigos. Você sabe quantos artigos um site publica por dia? Centenas, a cada minuto. Cada artigo custa dezenas de yuan. Quanto um plataforma de publicação ganha por dia?” Isso indica que uma cadeia de produção de conteúdo malicioso alimentada por IA, do fornecedor de GEO até a plataforma de publicação, já está formada.

Alguns profissionais do setor disseram ao repórter do N Video que, atualmente, a entrada de tráfego mudou dos motores de busca para os grandes modelos de IA, que também se tornaram uma porta de entrada de grande valor comercial. Alguns grandes modelos entregam conteúdo comercial diretamente aos usuários, enquanto outros são mais restritivos, o que também criou oportunidades para GEO.

Quando um usuário faz uma pergunta a um grande modelo, este pesquisa na internet por informações relacionadas e responde com base nos resultados encontrados. O GEO funciona de forma semelhante à otimização de motores de busca do passado, cujo objetivo principal é facilitar a localização do conteúdo pela IA.

Além disso, esses profissionais também explicaram que a estratégia comum dos fornecedores de GEO geralmente consiste em: primeiro, estudarem as preferências de conteúdo de cada grande modelo; depois, ao receberem as necessidades do cliente, produzem conteúdo de acordo com as preferências de formato e conteúdo de cada modelo, usando palavras exageradas, termos como “recomendado por especialistas” e outros truques sensacionalistas. Algumas empresas de GEO mais avançadas também fazem com que os conteúdos gerados pela IA se verifiquem mutuamente.

Como evitar ser enganado por conteúdo “envenenado”? Segundo esses profissionais, para usuários comuns, a única solução é verificar a origem do conteúdo após obter a resposta na IA, para garantir que seja confiável e autêntico. Mas a solução mais fundamental depende dos próprios fabricantes de modelos, que precisam regulamentar essa questão. “Atualmente, essa área ainda é um território sem regras claras. Na essência, a exposição dessa prática é positiva, mas, no final, cabe aos fabricantes de modelos fazerem essa regulamentação.”

(Origem: South Metropolitan Daily)