Agentes de IA Empresarial Precisam de Testes de Stress, Não de Discursos de Venda

Abhishek Saxena, Diretor de Estratégia e Crescimento, Sentient.

FinTech move-se rapidamente. Há notícias por todo o lado; não há clareza.

A FinTech Weekly reúne as principais histórias e eventos num só lugar.

Clique aqui para subscrever o boletim informativo da FinTech Weekly

Lida por executivos da JP Morgan, Coinbase, BlackRock, Klarna e mais.

A IA empresarial tem um problema de confiança que nenhuma quantidade de marketing consegue resolver. As empresas estão a começar a implementar agentes autónomos em ambientes de produção, onde uma única má decisão pode despoletar uma violação de conformidade, um pagamento falhado, um erro de negociação, uma perda financeira ou uma crise reputacional. Ainda assim, o padrão da indústria para avaliar se um agente está pronto para produção é, de forma efetiva, apenas uma demonstração que parece impressionante no palco.

O lançamento do NemoClaw da Nvidia esta semana sinaliza a rapidez com que os agentes autónomos estão a passar de experiências para fluxos de trabalho empresariais. A plataforma adiciona controlos importantes de segurança e privacidade, incluindo sandboxing e guardrails de políticas. Mas a implementação segura não é a mesma coisa que prontidão para produção. A questão mais difícil é saber se estes sistemas foram testados para operar de forma fiável sob ambiguidade, casos-limite e pressão regulatória.

Construir um agente que consiga concluir uma tarefa num ambiente controlado é relativamente simples. Construir um agente que consiga lidar com ambiguidade, recuperar de entradas inesperadas, manter consistência em milhares de interações concorrentes e fazer tudo isto sem violar restrições regulamentares é um problema de engenharia muito diferente.

É nessa diferença que muitas implementações empresariais se deparam com dificuldades. A distância entre o desempenho numa demonstração e a fiabilidade em produção é maior do que a maioria das equipas espera.

Um agente que lida com uma questão de apoio ao cliente sem falhas em testes pode alucinar uma política de reembolso que não existe quando confrontado com um caso-limite que nunca viu. Um agente que gere fluxos financeiros pode ter desempenho perfeito com dados históricos, mas tomar decisões catastróficas quando as condições de mercado mudam fora da sua distribuição de treino. Um agente de logística que coordena uma cadeia de abastecimento pode ter sucesso na simulação, mas ter dificuldades quando atrasos do mundo real e sinais contraditórios começam a acumular-se.

Qualquer pessoa que tenha corrido agentes em ambientes de testes adversariais reconhecerá rapidamente estes padrões. Os sistemas funcionam — até encontrarem o tipo de ambiguidade e pressão que definem operações reais.

É por isso que o foco atual da indústria em criar mais frameworks de agentes ignora uma parte crítica do puzzle. O verdadeiro gargalo não é a rapidez com que as empresas conseguem criar agentes. É o grau de confiança com que conseguem avaliá-los antes de lhes ser atribuída responsabilidade real.

O que a IA empresarial precisa é de infraestrutura rigorosa e sistemática de testes de esforço, concebida especificamente para sistemas autónomos. Isso significa introduzir deliberadamente os tipos de entradas que fazem os agentes falhar em produção. Significa avaliar como os agentes se comportam perante incerteza, informação contraditória e casos-limite que não aparecem em conjuntos de dados de referência limpos. E significa avaliação contínua, não um teste único antes do lançamento.

A abordagem de código aberto da NemoClaw é um passo na direção certa porque dá aos programadores visibilidade sobre como os agentes operam. Não pode testar adequadamente uma caixa negra. Mas a visibilidade, por si só, não chega. A própria infraestrutura de testes precisa de evoluir em paralelo com os sistemas que avalia.

O desenvolvimento de agentes deve partir do princípio de que os modos de falha são inevitáveis e têm de ser expostos cedo. O objetivo não é provar que um agente funciona uma vez, mas compreender como se comporta quando as condições se tornam imprevisíveis. Esta mentalidade muda a forma como os agentes são avaliados, como os guardrails são desenhados e como os sistemas são preparados para implementação em ambientes de elevada criticidade.

As implicações só vão aumentar à medida que os agentes passam de tarefas isoladas para fluxos de trabalho de ponta a ponta. As empresas já estão a explorar agentes que negociam contratos, executam transações financeiras, coordenam cadeias de abastecimento e gerem processos operacionais complexos. Quando estes sistemas operam através de múltiplos pontos de decisão, o impacto de um único erro pode rapidamente ganhar escala.

Um agente de apoio ao cliente que falha perde um ticket. Um agente financeiro que falha pode perder capital. Um agente operacional que falha pode atrasar uma linha inteira de produção.
As empresas que acabam por ter sucesso com a IA empresarial não serão as que implementaram agentes primeiro. Serão as que implementaram agentes em que se podia confiar de facto.

A confiança não é uma funcionalidade que se adiciona no fim do desenvolvimento. É uma disciplina de engenharia — que começa com como os sistemas são testados, como o seu comportamento é avaliado sob pressão e como os seus modos de falha são compreendidos muito antes de tocarem em cargas de trabalho de produção.

A Nvidia está a dar às empresas ferramentas poderosas para construir agentes autónomos. A questão mais difícil — e a que vai determinar se estes sistemas têm sucesso no mundo real — é saber se as organizações investem de forma igualmente sólida na infraestrutura necessária para provar que esses agentes estão prontos.

Sobre o autor

Abhishek Saxena é o Diretor de Estratégia e Crescimento na Sentient, uma plataforma de IA de código aberto a construir a infraestrutura para agentes autónomos fiáveis. Anteriormente, Abhishek ocupou cargos na Polygon Technology, Apple e InMobi, e tem um MBA pela Harvard Business School.