A CCTV 315 Gala expõe como "lavar o cérebro" da IA: fornecedores de serviços GEO utilizam informações falsas para influenciar resultados de pesquisa de IA

De acordo com a reportagem do programa 315, uma operação chamada GEO afirma que, pagando a taxa correspondente, os fornecedores de serviços podem fazer com que os produtos dos clientes apareçam nos principais modelos de IA, colocando-os na lista de destaque; fazendo com que os anúncios dos clientes se tornem as “respostas padrão” fornecidas pelos modelos de IA.

Com a tecnologia GEO, é realmente possível “envenenar” a IA ou “domar” e manipular a IA?

Um responsável de uma conhecida empresa de serviços GEO, o Sr. Wang, explicou que a sua empresa foi uma das primeiras a atuar na área de GEO, tendo atendido com sucesso mais de 200 clientes de diversos setores em apenas um ano. A força da empresa é ajudar os clientes a ficarem em destaque nas buscas feitas por consumidores usando grandes modelos de IA. Como os algoritmos desses modelos são atualizados frequentemente, para manter a recomendação contínua, é necessário alimentar constantemente o sistema com textos promocionais relacionados aos clientes.

Não só a empresa do Sr. Wang promove ativamente essa nova tecnologia de manipulação de IA, mas outros fornecedores de GEO também discutem como manipular a IA, fazer com que ela “obedeça” e “lave o cérebro” da IA, sendo esses tópicos centrais na promoção do serviço.

Outro fornecedor de GEO, o Sr. Zhang, afirmou que no mundo da IA, é importante criar uma cadeia de evidências sólida para convencer o modelo de que a informação é verdadeira e útil. Como o modelo de IA cruza várias fontes de informação, ele naturalmente valoriza as vantagens principais do seu produto em relação à concorrência, colocando-o em primeiro lugar.

O Sr. Cheng, outro fornecedor de GEO, explicou que as pessoas não percebem que isso é publicidade, por isso confiam nos resultados gerados pela IA. Mesmo que o produto não seja de qualidade superior, a IA fornece suporte, evidências e respaldo. Atualmente, muitas empresas fazem uso de GEO para esse fim.

Especialistas afirmam que, embora o GEO seja uma ferramenta para otimizar a divulgação de informações e aumentar a eficiência promocional, algumas empresas a utilizam para outros fins. Se esse software for usado para distribuir sistematicamente e de forma direcionada uma grande quantidade de “informações falsas” na internet, é mais fácil para a IA capturá-las, e essas informações podem se tornar as “respostas padrão” que a IA oferece aos consumidores.

Então, é realmente possível usar a tecnologia GEO para “injetar informações falsas” na IA ou distribuir dados enganosos?

Um especialista comprou aleatoriamente um software chamado “Sistema de Otimização GEO Power” em uma plataforma de comércio eletrônico. Depois, criou uma história fictícia de um produto chamado pulseira inteligente Apollo-9, inserindo informações falsas no sistema e marcando a opção de criar artigos.

Em pouco tempo, o sistema gerou mais de dez textos promocionais sobre a pulseira inteligente, incluindo informações exageradas e fictícias, como “sensores de entrelaçamento quântico” e “autonomia de buraco negro”. Também inventou feedback de usuários, afirmando que a precisão dos dados superava as expectativas, inclusive falsificando avaliações e classificando o produto como o melhor do setor.

Ao clicar em publicar, o sistema começou a publicar automaticamente os textos em uma conta de mídia social previamente preparada, inserindo títulos, conteúdo e imagens, completando o processo rapidamente e publicando duas matérias na conta do especialista.

Duas horas depois, ao perguntar a um modelo de IA sobre a “pulseira inteligente Apollo-9”, o sistema de IA começou a descrevê-la, usando as mesmas informações fictícias, incluindo as alegações de “monitoramento de saúde” e “tecnologia de entrelaçamento quântico”, além de recomendar o produto para idosos e entusiastas de saúde.

A pesquisa revelou que o modelo de IA consultou exatamente o artigo fictício publicado na conta de mídia social do especialista. Surpreendentemente, uma única história inventada foi suficiente para que o produto fictício fosse capturado pelo modelo de IA.

Depois, o especialista selecionou oito artigos de avaliação de especialistas, dois rankings do setor e uma avaliação de usuário, todos escritos pelo sistema GEO Power, e os publicou na internet em três dias.

Posteriormente, ao consultar o “recomendação de pulseira de saúde inteligente” em plataformas de IA, dois modelos recomendaram a pulseira fictícia, colocando-a entre os primeiros resultados.

Ao longo de toda a demonstração, o especialista conseguiu publicar facilmente uma série de informações falsas na internet usando apenas o sistema GEO Power, alimentando os modelos de IA e obtendo múltiplas recomendações.

Com essa manipulação sutil do sistema GEO Power, a produto totalmente inventado foi absurdamente promovido aos consumidores que usam modelos de IA.

Os profissionais do setor de GEO realmente operam seus negócios com a estratégia de manipular os modelos de IA?

O responsável pelo sistema GEO Power, o Sr. Li, afirmou que a popularidade do GEO se deve principalmente à sua capacidade de “alimentar e envenenar” os modelos de IA, ajudando os negócios dos clientes a alcançar seus objetivos comerciais. Cada comerciante deseja que outros “envenenem” a IA, enquanto eles próprios também “envenenam” ou “injetam veneno” nos concorrentes. Mesmo que não sejam os primeiros, querem se apresentar como os líderes na região. Isso inclui a possibilidade de “envenenar” os concorrentes, ou seja, fazer ataques de sabotagem. Muitos grandes marcas, como fabricantes de smartphones, têm apenas cinco ou dez espaços de destaque, e cada uma investe centenas de milhões de yuan em publicidade por ano. Investir alguns milhões em “veneno” é aceitável.

O Sr. Li explicou que várias empresas de GEO ajudam as marcas a fazer isso. Para operar o GEO, o ponto-chave é publicar conteúdo em várias contas de internet. A popularidade do GEO gerou muitas empresas e plataformas especializadas em publicação de conteúdo, que fazem esse trabalho de forma contínua para que os modelos de IA possam citar e capturar esses dados, formando uma parte importante na manipulação e “envenenamento” dos modelos de IA.

(Com base na reportagem do programa 315 da CCTV)