O impacto do teste prático do Augment Code com AGENTS.md na geração de código: o melhor equivale a uma melhoria de um nível no modelo, o pior é pior do que não escrever.

robot
Geração do resumo em andamento
Notícias ME, 23 de abril (UTC+8), de acordo com o monitoramento da 动察 Beating, a empresa de ferramentas de programação de IA Augment Code extraiu dezenas de AGENTS.md de seu próprio monorepo e usou o conjunto interno de avaliação AuggieBench para medir seu impacto real na saída do agente de codificação.
O método é usar PRs de alta qualidade já mesclados como referência, fazer o agente refazer a mesma tarefa com e sem AGENTS.md e comparar as pontuações.
A diferença foi muito maior do que o esperado. O AGENTS.md melhor escrito trouxe uma melhoria de qualidade equivalente a trocar o modelo de Haiku para Opus, enquanto o pior escrito foi pior do que não ter nenhum.
Além disso, o mesmo arquivo pode ter efeitos opostos em tarefas diferentes: aumentou a conformidade de uma correção de bug em 25%, mas reduziu a conclusão de uma função complexa no mesmo módulo em 30%.
Existem algumas práticas eficazes: manter o arquivo principal entre 100 e 150 linhas, acompanhado de alguns documentos de referência focados, pode trazer uma melhoria geral de 10% a 15% em módulos médios com cerca de cem arquivos principais.
Escrever o fluxo como etapas numeradas funciona melhor. Um fluxo de implantação de 6 etapas reduziu os PRs com arquivos faltantes de 40% para 10% e aumentou a precisão em 25%.
Usar uma tabela de decisão para ajudar o agente a escolher a abordagem correta antes de agir também aumentou a conformidade em 25%.
Ao escrever proibições, é necessário fornecer alternativas. Apenas escrever 'não' faz o agente hesitar, e mais de 15 avisos consecutivos pioram significativamente o efeito.
O que mais dá errado é ter muitos documentos. Uma vez que o agente é puxado para uma grande quantidade de documentos de arquitetura, após carregar centenas de milhares de tokens, a saída piora.
Um módulo acumulou 226 documentos com mais de 2 MB, e mesmo o melhor AGENTS.md não adiantou.
Além disso, AGENTS.md é o único local de documento que o agente lê 100% das vezes. A taxa de descoberta de documentos não referenciados em _docs/ é inferior a 10%.
(Fonte: BlockBeats)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários