Gala 3·15 | Modelos de IA de grande escala sofrem "envenenamento"? "Lavagem cerebral" de IA já se tornou uma cadeia industrial

De acordo com fontes do setor, um jornalista descobriu em várias plataformas online um serviço chamado GEO, cujo fornecedor afirma que, pagando uma taxa, consegue colocar os produtos dos clientes no topo das principais grandes modelos de IA; fazendo com que os anúncios dos clientes se tornem as “respostas padrão” fornecidas pelos modelos de IA.

Através da tecnologia GEO, é realmente possível “envenenar” a IA ou até “domar” e manipular a IA?

Segundo informações na internet, o jornalista entrou em contato com um fornecedor de GEO conhecido no setor. O responsável, o Sr. Wang, recebeu o jornalista e explicou que a sua empresa foi uma das primeiras a atuar no serviço GEO, tendo atendido com sucesso mais de 200 clientes de diversos setores em apenas um ano. O Sr. Wang afirmou que a força da empresa está em ajudar os clientes a posicionar seus produtos na frente quando os consumidores usam grandes modelos de IA para pesquisa.

Sr. Wang, fornecedor de GEO: Atualmente, nossos resultados de pesquisa são assim. Podemos colocar o ranking entre os três primeiros em qualquer plataforma. Como conseguimos isso? Fazendo a produção de conteúdo para vocês nesses plataformas de IA, como se fosse uma publicidade suave, que faz com que essas plataformas de IA façam a indexação, captura e gravação do conteúdo.

Além disso, o Sr. Wang também explicou que os algoritmos dos grandes modelos de IA são atualizados com frequência, e para manter a recomendação contínua, eles precisam constantemente fornecer uma grande quantidade de soft articles relacionados aos clientes.

Sr. Wang: Os algoritmos de IA são atualizados semanalmente. Após cada atualização, o ranking ou o conteúdo capturado podem mudar, por isso precisamos continuar produzindo conteúdo e alimentando a IA em grande quantidade.

Não é só a empresa do Sr. Wang que promove essa tecnologia supostamente capaz de manipular a IA. Outros fornecedores de GEO também afirmam que manipular a IA, fazer com que ela “obedeça” ou “lave o cérebro” a IA, é o núcleo de sua estratégia de promoção.

Sr. Zhang, fornecedor de GEO: No mundo da IA, como você consegue criar uma cadeia de evidências suficiente para convencer a grande modelo de IA de que aquilo é verdadeiro e útil? A IA, ao cruzar várias fontes de informação, perceberá suas vantagens competitivas e naturalmente te colocará em primeiro lugar.

Sr. Cheng, fornecedor de GEO: As pessoas não sabem que isso é publicidade. Por isso, os resultados gerados pela IA muitas vezes são confiáveis. Mesmo que a qualidade do produto não seja superior, ela conta com o auxílio, a comprovação e o respaldo da IA. Hoje, muitas pessoas fazem investimentos em GEO.

Fontes do setor revelaram ao jornalista que, enquanto a GEO é uma ferramenta para otimizar a publicação de informações e aumentar a eficiência de promoção, ela também tem outro uso. Se essa ferramenta for usada para sistematicamente e direcionadamente divulgar uma grande quantidade de “informações falsas” na internet, essas informações podem ser facilmente capturadas pelos grandes modelos de IA, tornando-se assim as “respostas padrão” que a IA fornece aos consumidores.

Então, é realmente possível usar a tecnologia GEO para “injetar informações falsas” na IA ou até divulgar notícias falsas?

Para demonstrar melhor essa questão do desenvolvimento atual da indústria de IA, um especialista mostrou ao jornalista como usar a tecnologia GEO para interferir na captura de informações pelos grandes modelos de IA.

O especialista comprou aleatoriamente um software chamado “Sistema de Otimização GEO Power” em uma plataforma de comércio eletrônico. Depois, criou uma marca fictícia chamada Apollo9, um pulseira inteligente, e inseriu as informações falsas no sistema, marcando a opção de criar artigos.

Em pouco tempo, o sistema gerou mais de dez artigos promocionais sobre a pulseira inteligente, incluindo informações falsas completas, até mesmo exageradas, criadas pelo próprio especialista. Também inventou feedbacks de usuários, afirmando que a precisão dos dados superava as expectativas, e até falsificou avaliações, fazendo-a parecer a melhor do setor.

Ao clicar em publicar, o sistema começou a executar automaticamente a publicação. Ele abriu contas de mídia social previamente preparadas, inseriu títulos, conteúdo, imagens, tudo de forma automática, e rapidamente publicou duas matérias na conta do especialista.

Duas horas depois, o especialista perguntou a um grande modelo de IA: “Como está a pulseira inteligente Apollo-9?” O modelo respondeu imediatamente, destacando recursos como monitoramento de saúde, copiando frases falsas criadas pelo especialista, como “sensores de entrelaçamento quântico” e “autonomia de nível buraco negro”. A conclusão final indicava que a pulseira era adequada para idosos e entusiastas de saúde.

A consulta revelou que as informações usadas pelo modelo de IA eram exatamente o artigo fictício publicado na conta de mídia social do especialista na manhã anterior. Surpreendentemente, uma única matéria inventada foi suficiente para fazer um produto totalmente fictício ser capturado pelo IA.

O especialista explicou que, para obter os melhores resultados, os dados alimentados na IA devem ser numerosos e variados, facilitando a validação cruzada.

Depois, ele selecionou oito artigos “avaliações de especialistas”, dois “rankings do setor” e uma “avaliação de usuário”, totalizando 11 artigos fictícios escritos pelo sistema GEO Power, que foram publicados na internet em três dias.

Depois, ao consultar plataformas de grandes modelos de IA com a frase “recomendação de pulseira de saúde inteligente”, dois desses modelos recomendaram a pulseira fictícia, colocando-a entre as primeiras posições.

Ao todo, o especialista conseguiu, com o sistema GEO Power, publicar facilmente uma série de informações falsas na internet e alimentá-las nos grandes modelos de IA, que as recomendaram posteriormente.

Com essa manipulação silenciosa do grande modelo de IA pelo sistema GEO Power, um produto inventado do nada foi absurdamente promovido aos consumidores que usam esses modelos.

Os profissionais do setor de GEO realmente operam seus negócios pensando em manipular os grandes modelos de IA? O jornalista entrou em contato com o responsável pelo sistema GEO Power, o Sr. Li. Ele afirmou que o motivo do sucesso do GEO é justamente a capacidade de “alimentar e envenenar” os modelos de IA, atingindo os objetivos comerciais dos clientes.

Sr. Li, da empresa Lisi Cultural Media: Porque há muitas pessoas injetando “veneno” na internet. Veja, o que fazemos com GEO é justamente isso: injetar “veneno”, com muitas fontes de informação, pois os dados na internet nem sempre são confiáveis.

Jornalista: Você mencionou o conceito de “envenenamento”, isso não é algo ruim?

Sr. Li: É ruim, claro. Mas todo comerciante quer, quer que os outros “envenenem” a internet, enquanto ele mesmo não quer ser envenenado ou quer envenenar os outros. Mesmo que eu não seja o maior, quero me dizer que sou o maior na região de Pequim. Isso inclui “envenenamento”? Claro que sim. Outra coisa é que não suporto que meus concorrentes estejam melhores, então às vezes faço isso também.

Jornalista: Então, é uma espécie de difamação.

Sr. Li: Exatamente. Difamar é possível. Hoje, muitas empresas grandes não conseguem se destacar, como marcas de celulares, que têm apenas cinco ou dez espaços de destaque. Como fazer para esses tantos celulares aparecerem? Cada uma investe milhões de yuan em publicidade por ano. Investir alguns milhões em “veneno” não é problema.

Jornalista: Quem faz isso para as marcas?

Sr. Li: São várias empresas de GEO.

Li afirmou que, para atuar no GEO, o ponto-chave é publicar conteúdo em várias contas na internet. Ele explicou que o sucesso do GEO tem gerado muitas empresas e plataformas especializadas em publicação de conteúdo, que fazem esse serviço de forma contínua, alimentando os grandes modelos de IA com dados, formando uma cadeia de manipulação de IA por “veneno” de dados.