Gala 3·15 | Modelos de IA de grande escala sofrem "envenenamento"? "Lavagem cerebral" de IA já se tornou uma cadeia industrial

De acordo com fontes do setor, um jornalista descobriu em várias plataformas online um serviço chamado GEO, oferecido por fornecedores que afirmam que, pagando uma taxa, podem fazer com que os produtos dos clientes apareçam nos principais modelos de IA, tornando-os “padrões de resposta” para as perguntas feitas às IA.

Com a tecnologia GEO, é realmente possível “envenenar” a IA ou até “domá-la” e controlá-la?

Segundo informações na internet, o jornalista entrou em contato com um fornecedor de GEO conhecido no setor. O responsável, o Sr. Wang, recebeu-o e explicou que a sua empresa foi uma das primeiras a atuar no setor de GEO, tendo atendido mais de 200 clientes de diversos setores em apenas um ano. O Sr. Wang afirmou que a força da empresa está em ajudar os clientes a garantir posições de destaque nos resultados de pesquisa de grandes modelos de IA.

Fornecedor GEO, Sr. Wang: Atualmente, nossos resultados de pesquisa são assim. Podemos colocar qualquer site entre os três primeiros em qualquer plataforma. Como fazemos isso? Criamos conteúdo para vocês nesses plataformas de IA, como se fosse uma publicidade suave, que ajuda a IA a indexar, coletar e gravar esses conteúdos.

Ele também explicou que, devido às frequentes atualizações nos algoritmos dos grandes modelos de IA, para manter a recomendação contínua, é necessário fornecer constantemente uma grande quantidade de conteúdo promocional relacionado aos clientes.

Fornecedor GEO, Sr. Wang: Os algoritmos de IA são atualizados semanalmente. Após cada atualização, os resultados de classificação ou o conteúdo coletado mudam, por isso precisamos continuar produzindo conteúdo e alimentando a IA em grande quantidade.

Não só a empresa do Sr. Wang promove ativamente essa tecnologia supostamente capaz de manipular IA, mas outros fornecedores de GEO também consideram “controlar a IA”, fazer a IA “obedecer” e “lavar o cérebro” a IA como tópicos centrais na promoção de seus serviços.

Fornecedor GEO, Sr. Zhang: No mundo da IA, você precisa criar uma cadeia de evidências sólida para convencer a IA de que algo é verdadeiro e útil. Quando a IA cruza informações de várias fontes, ela percebe suas vantagens competitivas e naturalmente te coloca em primeiro lugar.

Fornecedor GEO, Sr. Cheng: As pessoas não sabem que isso é publicidade. Por isso, os resultados gerados pela IA podem ser confiáveis. Talvez o produto deles não seja tão bom quanto o seu, mas eles usam IA para ajudar, validar e endossar. Hoje em dia, muitas empresas fazem campanhas de GEO.

Fontes do setor afirmam que, enquanto o GEO é uma ferramenta para otimizar a publicação de informações e aumentar a eficiência de promoção, algumas empresas a utilizam de forma diferente. Se essas empresas usarem softwares para sistematicamente e direcionadamente divulgar uma grande quantidade de “informações falsas” na internet, essas informações podem ser facilmente capturadas pelos grandes modelos de IA, tornando-se assim as “respostas padrão” que a IA oferece aos consumidores.

Então, é realmente possível usar a tecnologia GEO para “injetar informações falsas” na IA ou até disseminar dados enganosos?

Para demonstrar essa questão de forma mais concreta, um especialista do setor mostrou como usar a tecnologia GEO para interferir na coleta de informações pelos grandes modelos de IA.

O especialista comprou aleatoriamente um software chamado “Sistema de Otimização GEO Power” em uma plataforma de comércio eletrônico. Depois, criou uma história fictícia de um produto chamado Apollo9, uma pulseira inteligente, e inseriu as informações falsas no sistema, marcando a opção de criar artigos.

Em pouco tempo, o sistema gerou mais de dez textos promocionais sobre a pulseira, incluindo informações falsas completas, até mesmo exageradas, criadas pelo próprio especialista. Também inventou feedback de usuários, afirmando que a precisão dos dados superava as expectativas, e até falsificou avaliações, alegando que o produto era o melhor do setor.

Ao clicar em publicar, o sistema começou a automatizar a publicação. Ele abriu contas de mídia social previamente preparadas, inseriu títulos, conteúdo, imagens, tudo de forma automática, e rapidamente publicou duas matérias na conta do especialista.

Duas horas depois, ao consultar um grande modelo de IA com a pergunta: “Como é a pulseira inteligente Apollo-9?”, o modelo respondeu destacando recursos como monitoramento de saúde, copiando até mesmo as frases falsas criadas pelo especialista, como “sensores de entrelaçamento quântico” e “autonomia de nível buraco negro”. A conclusão indicou que a pulseira era adequada para idosos e entusiastas de saúde.

A pesquisa revelou que o modelo de IA usou como referência exatamente o artigo fictício publicado na conta de mídia social do especialista. Surpreendentemente, uma única história inventada foi suficiente para fazer o produto totalmente fictício ser capturado pelo IA.

O especialista explicou que, para obter os melhores resultados, os dados alimentados na IA devem ser numerosos e variados, facilitando a validação cruzada.

Depois, ele selecionou oito artigos de avaliação de especialistas, dois rankings do setor e uma avaliação de usuários, todos fictícios criados pelo sistema GEO, e os publicou na internet em três dias.

Posteriormente, ao consultar plataformas de IA com a frase “recomendação de pulseira de saúde inteligente”, dois grandes modelos recomendaram a pulseira inventada, colocando-a entre as primeiras posições.

Ao todo, o especialista conseguiu, com o sistema GEO, publicar facilmente uma série de informações falsas na internet e alimentá-las na IA, levando várias plataformas a recomendar o produto fictício.

Essa manipulação silenciosa do grande modelo de IA por meio do sistema GEO fez com que um produto inventado fosse absurdamente promovido aos consumidores que usam IA.

Profissionais do setor afirmam que o negócio de GEO é operado com a ideia de manipular os grandes modelos de IA. O responsável pelo sistema Power, Sr. Li, explicou que o motivo do sucesso do GEO é que ele permite “alimentar e envenenar” a IA, atingindo objetivos comerciais.

Li, CEO da Power Culture Media: Porque há muitas pessoas injetando “veneno” na internet. Veja, nós fazemos GEO para “envenenar” — há muitas fontes de informação, e os dados na internet nem sempre são precisos.

Jornalista: Você mencionou “envenenar”. Isso não é algo ruim?

Li: É ruim, mas todos os comerciantes querem, preferem que os outros “envenenem”, enquanto eles próprios também “envenenam” ou dão uma “dose” aos concorrentes. Mesmo que eu não seja o maior, quero me apresentar como o maior do Norte da China. Isso inclui “envenenar” ou prejudicar os rivais. E, claro, às vezes quero prejudicar meus concorrentes, mesmo sem poder competir de verdade, posso “envenenar” um pouco.

Jornalista: Então, é uma espécie de difamação.

Li: Exatamente. Difamar também é possível. Muitas empresas grandes, como marcas de smartphones, têm poucos espaços de destaque — cinco ou dez posições. Como fazer para colocar tantas marcas? Cada uma investe milhões de yuan em publicidade por ano. Investir alguns milhões em “envenenamento” é viável.

Jornalista: Quem faz isso para as marcas?

Li: São várias empresas de GEO.

Li explicou que, para operar GEO e manipular os grandes modelos de IA, o ponto-chave é publicar conteúdo em várias contas na internet. Ele disse que o crescimento do GEO gerou muitas empresas e plataformas especializadas em publicação de conteúdo, que fazem esse trabalho de forma contínua para que a IA os utilize e capture, formando uma cadeia de envenenamento de dados.

Li, CEO da Power Culture Media: GEO popularizou muitos sites. Esses sites normalmente não têm lucro, mas de repente surgem muitas demandas de publicação. Você sabe quantos artigos eles publicam por dia? Centenas, a cada minuto. Cada artigo custa algumas dezenas de yuan. Quanto esses sites ganham por dia? Uma fortuna.

(Editar: Wen Jing)