Agentes de IA Empresarial Precisam de Testes de Stress, Não de Discursos de Venda

Abhishek Saxena, Chefe de Estratégia e Crescimento, Sentient.

O FinTech avança rapidamente. As notícias estão em todo o lado, a clareza não está.

O FinTech Weekly entrega as principais histórias e eventos num só lugar.

Clique Aqui para Subscrever a Newsletter do FinTech Weekly

Lido por executivos da JP Morgan, Coinbase, BlackRock, Klarna e mais.

A IA empresarial tem um problema de confiança que nenhum montante de marketing pode resolver. As empresas estão a começar a implementar agentes autónomos em ambientes de produção onde uma única decisão errada pode desencadear uma violação de conformidade, um pagamento falhado, um erro de negociação, uma perda financeira ou uma crise reputacional. E ainda assim, o padrão da indústria para avaliar se um agente está pronto para produção é, efetivamente, uma demonstração que parece impressionante no palco.

O lançamento do NemoClaw da Nvidia esta semana sinaliza quão rapidamente os agentes autónomos estão a passar da experimentação para os fluxos de trabalho empresariais. A plataforma adiciona importantes controles de segurança e privacidade, incluindo sandboxing e restrições de política. Mas a implementação segura não é a mesma coisa que a prontidão para produção. A questão mais difícil é se esses sistemas foram testados para operar de forma fiável sob ambiguidade, casos limites e pressão regulatória.

Construir um agente que pode completar uma tarefa num ambiente controlado é relativamente simples. Construir um agente que pode lidar com ambiguidade, recuperar-se de entradas inesperadas, manter a consistência em milhares de interações simultâneas e fazer tudo isso sem violar restrições regulatórias é um problema de engenharia muito diferente.

Essa diferença é onde muitas implementações empresariais encontram problemas. A lacuna entre o desempenho da demonstração e a fiabilidade em produção é maior do que a maioria das equipas espera.

Um agente que lida com uma consulta de suporte ao cliente sem falhas em testes pode alucinar uma política de reembolso que não existe quando confrontado com um caso limite que nunca viu. Um agente que gere fluxos de trabalho financeiros pode ter um desempenho perfeito em dados históricos, mas tomar decisões catastróficas quando as condições de mercado mudam para fora da sua distribuição de treino. Um agente de logística a coordenar uma cadeia de suprimentos pode ter sucesso na simulação, mas lutar quando atrasos do mundo real e sinais conflitantes começam a se acumular.

Qualquer um que tenha testado agentes em ambientes de teste adversariais reconhecerá rapidamente esses padrões. Os sistemas funcionam—até encontrarem o tipo de ambiguidade e pressão que definem operações reais.

É por isso que o foco atual da indústria em construir mais estruturas de agentes perde uma peça crítica do quebra-cabeças. O verdadeiro gargalo não é quão rapidamente as empresas podem criar agentes. É quão confiantemente podem avaliá-los antes de esses agentes receberem responsabilidades reais.

O que a IA empresarial precisa é de uma infraestrutura rigorosa e sistemática de teste de stress projetada especificamente para sistemas autónomos. Isso significa introduzir deliberadamente os tipos de entradas que quebram agentes em produção. Significa avaliar como os agentes se comportam sob incerteza, informações conflitantes e casos limites que não aparecem em conjuntos de dados de referência limpos. E significa avaliação contínua, não um teste único antes do lançamento.

A abordagem de código aberto do NemoClaw é um passo na direção certa porque dá aos desenvolvedores visibilidade sobre como os agentes operam. Não se pode testar adequadamente uma caixa-preta. Mas a visibilidade por si só não é suficiente. A infraestrutura de teste precisa evoluir ao lado dos sistemas que avalia.

O desenvolvimento de agentes deve assumir que os modos de falha são inevitáveis e devem ser revelados cedo. O objetivo não é provar que um agente funciona uma vez, mas entender como ele se comporta quando as condições se tornam imprevisíveis. Esse estado de espírito muda como os agentes são avaliados, como as restrições são projetadas e como os sistemas são preparados para a implementação em ambientes de alto risco.

Os riscos só aumentarão à medida que os agentes passam de tarefas isoladas para fluxos de trabalho de ponta a ponta. As empresas já estão a explorar agentes que negociam contratos, executam transações financeiras, coordenam cadeias de suprimentos e gerem processos operacionais complexos. Quando esses sistemas operam em vários pontos de decisão, o impacto de um único erro pode rapidamente se propagar.

Um agente de suporte ao cliente que falha perde um bilhete. Um agente financeiro que falha pode perder capital. Um agente operacional que falha pode atrasar toda uma linha de produção.
As empresas que, no final, terão sucesso com a IA empresarial não serão aquelas que implementaram agentes primeiro. Serão aquelas que implementaram agentes em que realmente podiam confiar.

A confiança não é uma característica que se adiciona no final do desenvolvimento. É uma disciplina de engenharia—uma que começa com como os sistemas são testados, como o seu comportamento é avaliado sob pressão e como os seus modos de falha são compreendidos muito antes de tocarem numa carga de trabalho de produção.

A Nvidia está a dar às empresas ferramentas poderosas para construir agentes autónomos. A questão mais difícil—e aquela que determinará se esses sistemas têm sucesso no mundo real—é se as organizações investem igualmente na infraestrutura necessária para provar que esses agentes estão prontos.

Sobre o autor

Abhishek Saxena é o Chefe de Estratégia e Crescimento na Sentient, uma plataforma de IA de código aberto que constrói a infraestrutura para agentes autónomos dignos de confiança. Anteriormente, Abhishek ocupou cargos na Polygon Technology, Apple e InMobi, e possui um MBA da Harvard Business School.