Agentes de IA empresariais precisam de testes de stress, não de discursos de vendas.

Abhishek Saxena, Diretor de Estratégia e Crescimento, Sentient.

A FinTech avança rapidamente. As notícias estão em todo o lado, a clareza é que não.

A FinTech Weekly apresenta as principais histórias e eventos num único local.

Clique Aqui para Subscrever a Newsletter da FinTech Weekly

Lida por executivos da JP Morgan, Coinbase, BlackRock, Klarna e outros.

A IA empresarial tem um problema de confiança que nenhuma quantidade de marketing consegue resolver. As empresas estão a começar a implementar agentes autónomos em ambientes de produção, onde uma única má decisão pode desencadear uma violação de conformidade, um pagamento falhado, um erro de trading, uma perda financeira ou uma crise de reputação. E, no entanto, o padrão da indústria para avaliar se um agente está pronto para produção ainda é, efetivamente, uma demonstração que parece impressionante no palco.

O lançamento do NemoClaw da Nvidia esta semana sinaliza a rapidez com que os agentes autónomos estão a passar da experimentação para os fluxos de trabalho empresariais. A plataforma adiciona controlos importantes de segurança e privacidade, incluindo sandboxing e barreiras de políticas. Mas a implementação segura não é o mesmo que a prontidão para produção. A questão mais difícil é se estes sistemas foram testados para operar de forma fiável sob ambiguidade, casos extremos e pressão regulatória.

Construir um agente que consiga completar uma tarefa num ambiente controlado é relativamente simples. Construir um agente que consiga lidar com ambiguidade, recuperar de entradas inesperadas, manter consistência em milhares de interações simultâneas e fazer tudo isto sem violar restrições regulatórias é um problema de engenharia muito diferente.

Essa diferença é onde muitas implementações empresariais encontram problemas. A lacuna entre o desempenho em demonstração e a fiabilidade em produção é maior do que a maioria das equipas espera.

Um agente que lida perfeitamente com uma consulta de suporte ao cliente durante os testes pode alucinar uma política de reembolso que não existe quando confrontado com um caso extremo que nunca viu. Um agente que gere fluxos de trabalho financeiros pode ter um desempenho perfeito com dados históricos, mas tomar decisões catastróficas quando as condições de mercado se desviam da sua distribuição de treino. Um agente logístico que coordena uma cadeia de abastecimento pode ter sucesso em simulação, mas falhar quando atrasos do mundo real e sinais conflituantes começam a acumular-se.

Quem já executou agentes em ambientes de teste adversos reconhecerá rapidamente estes padrões. Os sistemas funcionam — até encontrarem o tipo de ambiguidade e pressão que define as operações reais.

É por isso que o foco atual da indústria em construir mais frameworks de agentes perde uma peça crítica do puzzle. O verdadeiro gargalo não é a rapidez com que as empresas conseguem criar agentes. É o quão confiantes conseguem avaliá-los antes de esses agentes receberem responsabilidade real.

O que a IA empresarial precisa é de uma infraestrutura de testes de stress rigorosa e sistemática, concebida especificamente para sistemas autónomos. Isso significa introduzir deliberadamente os tipos de entradas que fazem os agentes falharem em produção. Significa avaliar como os agentes se comportam sob incerteza, informação conflituante e casos extremos que não aparecem em conjuntos de dados de referência limpos. E significa avaliação contínua, não um teste único antes do lançamento.

A abordagem open-source do NemoClaw é um passo na direção certa porque dá aos programadores visibilidade sobre como os agentes operam. Não se pode testar adequadamente uma caixa negra. Mas a visibilidade por si só não é suficiente. A própria infraestrutura de testes precisa de evoluir juntamente com os sistemas que avalia.

O desenvolvimento de agentes deve assumir que os modos de falha são inevitáveis e devem ser detetados precocemente. O objetivo não é provar que um agente funciona uma vez, mas sim compreender como ele se comporta quando as condições se tornam imprevisíveis. Essa mentalidade altera a forma como os agentes são avaliados, como as barreiras são concebidas e como os sistemas são preparados para implementação em ambientes de alto risco.

Os riscos só aumentarão à medida que os agentes passam de tarefas isoladas para fluxos de trabalho completos. As empresas já estão a explorar agentes que negociam contratos, executam transações financeiras, coordenam cadeias de abastecimento e gerem processos operacionais complexos. Quando estes sistemas operam em múltiplos pontos de decisão, o impacto de um único erro pode rapidamente escalar.

Um agente de suporte ao cliente que falha perde um ticket. Um agente financeiro que falha pode perder capital. Um agente operacional que falha pode atrasar toda uma linha de produção.
As empresas que, em última análise, terão sucesso com a IA empresarial não serão as que implementaram agentes primeiro. Serão as que implementaram agentes em que realmente podiam confiar.

A confiança não é uma funcionalidade que se adiciona no final do desenvolvimento. É uma disciplina de engenharia — que começa com a forma como os sistemas são testados, como o seu comportamento é avaliado sob pressão e como os seus modos de falha são compreendidos muito antes de tocarem numa carga de trabalho de produção.

A Nvidia está a dar às empresas ferramentas poderosas para construir agentes autónomos. A questão mais difícil — e aquela que determinará se estes sistemas terão sucesso no mundo real — é se as organizações investem igualmente na infraestrutura necessária para provar que esses agentes estão prontos.

Sobre o autor

Abhishek Saxena é o Diretor de Estratégia e Crescimento da Sentient, uma plataforma de IA open-source a construir a infraestrutura para agentes autónomos fiáveis. Anteriormente, Abhishek desempenhou funções na Polygon Technology, Apple e InMobi, e possui um MBA pela Harvard Business School.