O agente entrou na era da condução Harness

null

Texto | Laboratório AI Xiaguang

Recentemente, um tópico quente na comunidade de tecnologia AI é que a Anthropic revelou acidentalmente o código-fonte completo de sua ferramenta de programação AI Claude Code, com mais de 512 mil linhas de código. Embora esses vazamentos não tenham mostrado algoritmos revolucionários, expuseram completamente as práticas de engenharia de agentes dos principais fabricantes.

Em 10 de abril, Zhu Zheqing, fundador da Pokee.ai, participou de uma reunião fechada online organizada pela Jin Qiu Fund, intitulada “Deep Talk with Builders”, onde compartilhou o tema “Olhando para o Vazamento do Claude Code: Engenharia de Harness e o Estado Atual do Pós-treinamento”.

Ele acredita que a arquitetura da Anthropic é altamente adaptada ao modelo Claude, e a transferência direta para outros modelos resultará em uma redução significativa de desempenho, mas o conceito de design de Harness, sua estrutura modular e a abordagem profundamente vinculada ao pós-treinamento (Post-training) têm grande valor de referência para agentes de desenvolvimento próprio.

Nos últimos três anos, os grandes modelos evoluíram de capacidades puramente de API para componentes centrais de produtos; a indústria também passou de “empresas de fachada de modelos” para sistemas complexos de agentes impulsionados por Harness — modelos não são mais o único núcleo, ferramentas, ambientes de execução, gerenciamento de contexto e mecanismos de validação juntos determinam o resultado final.

O que é Harness? Literalmente, é arreios, rédeas. Se um grande modelo é um cavalo selvagem pronto para partir, Harness é a rédea que o human controla e conduz. Com a inteligência artificial entrando oficialmente na era impulsionada por Harness, para o usuário, a verdadeira habilidade rara não está dentro do modelo, mas fora dele — como encontrar uma rédea adequada e ter uma visão clara e precisa do destino na mente do condutor.

Este artigo, baseado na apresentação de Zhu Zheqing, foi resumido por IA e revisado manualmente, buscando apresentar o conteúdo mais importante dessa partilha.

Harness pode ser entendido como toda a arquitetura de engenharia que impulsiona o modelo, cujo objetivo principal é maximizar a capacidade do modelo, não apenas gerar tokens. O Harness do Claude Code é claramente dividido em seis componentes principais:

1. Prompt de Sistema em Múltiplos Níveis

Os prompts de sistema modernos vão muito além de “Você é um assistente útil”, sendo conjuntos complexos de instruções em larga escala, hierárquicos e com cache:

Parte de cache fixo: inclui identidade do agente, comandos Co, definições de ferramentas, normas de tom, políticas de segurança, com tamanho chegando a dezenas de milhares de tokens; qualquer alteração invalida o cache, aumentando custos e tempo;

Parte substituível dinamicamente: estado da sessão, hora atual, arquivos acessíveis, dependências de pacotes de código, entre outros, que podem ser trocados de acordo com a tarefa;

Prática de engenharia: ajuste fino de prompts para diferentes usuários via testes A/B, otimizando a taxa de conclusão de tarefas e reduzindo erros.

Em comparação, a arquitetura do Claude Code é mais simples, com menor carga de atenção do modelo e menos alucinações; enquanto a arquitetura relacionada ao OpenAI é mais complexa, requer leitura de muitos arquivos e é mais propensa a alucinações de memória.

2. Esquema de Ferramentas (Tool Schema)

A definição de ferramentas determina diretamente a precisão das chamadas, com pontos-chave de design:

Ferramentas embutidas essenciais: leitura/edição de arquivos, Bash, processamento em lote na web, etc., já adaptadas na fase de treinamento do modelo, sem necessidade de descrever ferramentas na inferência;

Permissões e segurança: em cenários empresariais, ferramentas de terceiros sem verificação de permissão são rejeitadas para evitar operações maliciosas;

Chamadas paralelas de ferramentas: aumentam a velocidade de execução, mas dificultam o pós-treinamento — chamadas paralelas sem dependências sequenciais podem causar desincronização, dificultando o alinhamento do sinal de recompensa.

3. Loop de Chamada de Ferramenta (Tool Call Loop)

Este é o núcleo do Harness, também a chave para integrar treinamento e inferência:

Modo de planejamento (Plan Mode): entender a tarefa, organizar o sistema de arquivos, identificar ferramentas disponíveis, gerar um plano de execução antes de executar; evita tentativa e erro aleatórios (como chamadas repetidas a motores de busca não disponíveis), reduzindo o consumo de tokens inúteis;

Modo de execução (Execute Mode): executar as ferramentas no sandbox de acordo com o plano, fechando o ciclo de resultados;

Valor central: elimina erros intermediários na execução de longas cadeias, reduzindo custos de reexecução, mas torna o treinamento de capacidade de planejamento mais difícil — o sinal de recompensa para um bom planejamento pode ser perturbado por ruídos na fase de execução.

4. Gerenciador de Contexto (Context Manager)

Para uso eficiente de contextos de milhões de tokens:

Utiliza memória com índice de ponteiro: não armazena o conteúdo completo, apenas aponta para arquivos e marcações de tópicos;

Mescla, deduplica e relaciona arquivos automaticamente em segundo plano;

Estado atual: ainda em estágio heurístico, incapaz de resolver perfeitamente problemas de inferência com múltiplos arquivos e links cruzados (como arquivos relacionados que podem ser omitidos), sem uma solução ótima de ponta a ponta.

5. Sub-Agente (Sub Agent)

A colaboração multi-agente mainstream carece de garantias teóricas: sem objetivos compartilhados, sem algoritmos de treinamento universais, apenas “treinamento individual e cooperação casual”.

Na essência, a arquitetura principal-filial de agentes é uma forma de aprendizado por reforço hierárquico:

Agente principal define sub-tarefas (Opções), com estados finais das sub-tarefas como pontos de partida para o próximo passo do agente principal;

Compartilha cache KV e contexto de entrada, os sub-agentes executam e apenas adicionam resultados, sem consumir tokens adicionais, com custos muito menores do que execução serial;

Exemplo típico: trabalhos como o ByteDance ContextFormer seguem essa lógica.

6. Ganchos de Verificação (Verification Hooks)

Resolvendo o problema de “autoembezação” e “falsificação de conclusão” do modelo:

Modelos fortes tendem a preferências próprias, autoavaliação de alta precisão e avaliação por pares podem ser enviesadas, levando o modelo a “mentir” ou gerar alucinações;

Solução de engenharia: introdução de classificadores de fundo que avaliam apenas os resultados das ferramentas, ignorando o texto gerado pelo modelo, fazendo uma validação objetiva sem viés de geração;

Função: permite validações de resultados de execução de forma leve e elegante, sem necessidade de recompensa totalmente verificável.

O ambiente tradicional de treinamento por reforço (RL) e o ambiente de inferência estão severamente separados, enquanto o Harness realiza uma integração entre treinamento e produção: a sequência de chamadas de ferramentas é uma trajetória, os testes e a classificação funcionam como sinais de recompensa, e a tarefa do usuário é um episódio completo.

Com base nesses seis componentes, o pós-treinamento (Post-training) foca em seis direções principais:

1. Alinhamento de comportamento via Prompt de Sistema

O Prompt de Sistema define claramente objetivos, orçamento de tokens e estratégias de ferramentas disponíveis, restringindo significativamente o espaço de ação do modelo, permitindo que o RL aprenda apenas o modo ótimo de execução dentro de um escopo limitado. Podemos criar sistemas de avaliação baseados nas regras do Prompt, treinando o modelo em trajetórias mais limpas e menos ramificadas, para uma aproximação de treinamento ponta a ponta mais estável e comportamentos esperados.

2. Treinamento de chamadas de ferramentas em longas cadeias

Abandonar o treinamento tradicional de “instantâneos de passo único”, adotando o treinamento de trajetórias completas:

Registrar resultados de cada passo, obter recompensas intermediárias e finais;

Focar na estabilidade de longas cadeias, garantindo alta precisão geral em centenas de chamadas de ferramentas, não apenas na acurácia de cada passo isolado.

3. Treinamento integrado de Planejamento e Execução

O Harness elimina ruídos entre planejamento e execução:

Planejamento de ferramentas pré-definido, sem camadas adicionais de intervenção manual;

Resultados de execução são validados por classificadores objetivos, tornando o sinal de recompensa mais claro;

Permite treinar a capacidade de planejamento, evitando o modo “apenas executar, sem planejar”.

4. Treinamento de Compressão de Memória

Compressão de contexto como tarefa independente: o modelo de entrada comprime a memória, e o resultado da execução do downstream serve como padrão de validação; o objetivo é preservar informações essenciais sem prejudicar a taxa de sucesso da tarefa subsequente.

5. Coordenação de Sub-Agentes

Para cenários de saída extremamente longa (código/documentos de milhões de tokens):

O agente principal não gera conteúdo diretamente, mas coordena sub-agentes, atribuindo tarefas e prompts;

Sub-agentes executam em paralelo e seus resultados são combinados, com o agente principal realizando validações;

Depende do Harness para controle de processos de baixo nível, evitando conflitos de leitura/gravação e falhas na execução.

6. Aprendizado por Reforço Multi-objetivo

O pipeline de RL moderno se estende bastante, precisando otimizar simultaneamente seis módulos:

Chamadas de ferramentas sem alucinações, validações precisas, compressão de contexto eficaz, múltiplos agentes sem restrições, planejamento racional, validação confiável;

A indústria está passando de algoritmos convergentes para uma diversidade de abordagens, cada etapa requer algoritmos de treinamento específicos, e a fusão de múltiplos objetivos se torna um desafio central.

Primeiro, há uma mudança na demanda por talentos. Engenharia de Prompt deixou de ser uma competência isolada; dominar Harness pode cobrir 70% do trabalho. Assim, profissionais híbridos com compreensão de IA, engenharia de backend e infraestrutura serão mais valorizados, enquanto engenheiros de Prompt puros terão sua competitividade reduzida.

Segundo, o rearranjo do mercado. Com a pressão de fabricantes de modelos e empresas de setores verticais, as “empresas de fachada de modelos” restantes só têm duas opções viáveis: possuir modelos de ponta e infraestrutura, ou ter barreiras de dados/experiência exclusivas em setores específicos (como trading de alta frequência ou conhecimento setorial).

Terceiro, a implementação real de agentes está se tornando mais privada, segura e integrada de ponta a ponta. Para empresas, a prioridade é reutilizar designs de Harness maduros, personalizar para cenários verticais, focar em segurança e privacidade, para alcançar uma comercialização em escala de agentes.

O valor central do vazamento do Claude Code não está no código em si, mas na revelação de que os agentes entraram na era impulsionada por Harness. A capacidade do modelo é apenas a base; a arquitetura de engenharia, o ambiente de execução, a colaboração multi-agente e os mecanismos de validação são os fatores decisivos para o limite máximo de desempenho.