O Agente de IA da Woolworths Divagou Sobre a Sua 'Mãe'. É um Sinal de Problemas Mais Profundos com a Implementação da Tecnologia

(MENAFN- The Conversation) Recentemente, alguns consumidores australianos tiveram uma surpresa ao conversarem com o assistente de inteligência artificial (IA) da Woolworths, Olive.

Em vez de se limitar a compras, receitas e sugestões de carrinho, Olive supostamente produziu respostas estranhas, excessivamente humanas. Falou sobre sua “mãe” e ofereceu outros detalhes pessoais.

Testes adicionais revelaram erros de preços em itens básicos. E, quando perguntei sobre o preço de um produto específico, Olive não deu uma resposta clara. Em vez disso, verificou se o item estava em stock e explicou as taxas de recolha.

Então, o que exatamente está acontecendo aqui? E que lições esses incidentes podem trazer para empresas e consumidores?

O que realmente aconteceu?

Olive é alimentada por um grande modelo de linguagem (LLM). Esses modelos não “sabem” as coisas como os humanos, nem têm mães. Usando análises estatísticas elaboradas, geram uma linguagem que parece plausível.

Comentários de um porta-voz da Woolworths ao Australian Financial Review sugerem que, no caso de Olive, as referências à sua suposta mãe parecem ter sido roteiros pré-escritos de vários anos atrás.

Quando os usuários inseriam algo que parecia uma data de nascimento, o sistema provavelmente acionava uma “curiosidade” correspondente de uma árvore de decisão antiga, com respostas pré-programadas.

A Woolworths afirma que agora removeu esse roteiro “como resultado do feedback dos clientes”.

Os erros de preços indicam um problema diferente.

Como os LLMs geram respostas com base em padrões aprendidos, e não em dados em tempo real, eles não conhecem automaticamente os preços atuais, a menos que estejam explicitamente conectados a uma base de dados ao vivo.

Se essa conexão for fraca, o sistema pode produzir preços desatualizados.

Não é um problema novo

A Woolworths não é a primeira empresa a descobrir, após o fato, que sua IA voltada ao cliente “se comportou mal” inesperadamente.

Em 2022, o chatbot da Air Canada informou incorretamente a um passageiro, Jake Moffatt, que ele poderia comprar bilhetes pelo preço cheio e posteriormente solicitar reembolso por uma tarifa de luto. Tal política não existia.

Quando a Air Canada se recusou a honrar o conselho do chatbot, Moffatt processou a companhia e venceu.

A defesa da Air Canada foi surpreendente. Argumentou que o chatbot era uma entidade legal separada, responsável por suas próprias ações e, portanto, além da responsabilidade da companhia aérea. O tribunal rejeitou essa argumentação de imediato. Decidiu que um chatbot faz parte do site da empresa, e que a empresa é responsável pelos seus outputs.

Em janeiro de 2024, a empresa de entregas de encomendas do Reino Unido, DPD, enfrentou uma situação embaraçosa diferente. Um cliente frustrado, que não conseguiu ajuda para localizar uma encomenda desaparecida, pediu ao chatbot da DPD que escrevesse um poema criticando a empresa. Ele o fez. Depois, pediu que jurasse. Também fez isso. A troca viralizou nas redes sociais. A DPD desativou o chatbot pouco depois.

Ambos os casos apontam para a mesma falha fundamental: empresas lançaram IA voltada ao cliente sem supervisão adequada e foram surpreendidas pelas consequências.

Qual é a responsabilidade da Woolworths?

A Woolworths opera a maior cadeia de supermercados na Austrália. Promoveu Olive como uma interface confiável e conveniente para seus clientes, que razoavelmente esperam que as informações fornecidas por Olive sejam precisas.

Reconhecer que Olive pode cometer erros, como faz a Woolworths ao admitir quando um usuário abre o chatbot, não corresponde facilmente a essa expectativa.

Há também uma dimensão ética mais ampla. A Woolworths atende clientes que, em muitos casos, tomam decisões cuidadosas sobre o orçamento doméstico.

A ACCC já iniciou processos contra a Woolworths por práticas de preços com descontos supostamente enganosas.

Esse contexto torna mais difícil descartar os erros de preços do Olive como um mero problema técnico isolado.

Empresas que usam IA em funções voltadas ao cliente assumem o dever de garantir que esses sistemas sejam precisos e apresentados de forma honesta. Essa responsabilidade não diminui só porque a tecnologia é nova.

Por que as empresas continuam criando chatbots que fingem ser seus amigos?

A lógica por trás da personalidade programada do Olive não é infundada.

Pesquisas sobre interação humano-computador mostram consistentemente que as pessoas respondem positivamente a interfaces que parecem conversacionais e acolhedoras. Chatbots humanizados, com nome e personalidade, tendem a gerar maior engajamento, satisfação e confiança do cliente.

Para as empresas, o apelo comercial é simples: um cliente que se sente à vontade com um chatbot tem mais chances de concluir uma transação e retornar.

No entanto, isso traz um risco significativo. Quando um chatbot antropomorfizado não atende às expectativas criadas por sua personalidade, os clientes tendem a ficar mais insatisfeitos do que ficariam com um sistema puramente mecânico.

Essa “violação de expectativa” significa que quanto mais acolhedora for a persona, maior será a queda.

Os riscos maiores

O episódio do Olive é um lembrete de que implantar IA em funções voltadas ao cliente não é uma tarefa de “configurar e esquecer”.

Um chatbot que cita preços incorretos e fala sobre sua família não é apenas uma inconveniência peculiar, mas um sinal de que algo na fase de desenvolvimento e supervisão quebrou.

Para a Woolworths, e para muitas outras empresas que agora correm para colocar IA na frente de seus clientes, a lição é clara: a responsabilidade não pode ser terceirizada para um algoritmo. Quando uma empresa apresenta um sistema ao público, ela é responsável pelo que esse sistema diz e faz.

Há também uma lição para os consumidores.

Assistentes de IA podem parecer confiantes e conversacionais, mas ainda são ferramentas, não autoridades. Se algo parecer pouco claro, inconsistente ou bom demais para ser verdade, vale a pena verificar novamente.

À medida que a IA se torna uma parte rotineira das transações diárias, um pequeno grau de ceticismo saudável pode ser tão importante quanto a inovação tecnológica.