Augment Code teste real do impacto do AGENTS.md na geração de código: o melhor equivale a uma atualização do modelo, o pior não vale a pena escrever

ME News notícia, 23 de abril (UTC+8), de acordo com o monitoramento do Beating, a empresa de ferramentas de programação AI Augment Code extraiu dezenas de versões do arquivo AGENTS.md do seu monorepo e utilizou o conjunto de avaliação interno AuggieBench para medir o impacto real delas na produção de agentes de codificação. A abordagem foi usar um PR de alta qualidade já mesclado como referência, fazendo o agente refazer a mesma tarefa sob duas condições: com e sem AGENTS.md, e comparando as pontuações.
A diferença foi muito maior do que o esperado. A melhor versão do AGENTS.md proporcionou uma melhoria de qualidade equivalente a trocar o modelo de Haiku por Opus, enquanto a pior versão foi até pior do que não ter nada.
Além disso, o mesmo arquivo pode ter efeitos opostos em tarefas diferentes: aumentou a conformidade de uma correção de bug em 25%, mas reduziu a completude de uma funcionalidade complexa no mesmo módulo em 30%.
Algumas práticas eficazes incluem: manter o arquivo principal entre 100 e 150 linhas, incluir algumas referências focadas, e em módulos médios com cerca de cem arquivos principais, gerar melhorias gerais de 10% a 15%.
Escrever o fluxo como passos numerados é mais eficaz; um processo de implantação em 6 etapas reduziu PRs com arquivos ausentes de 40% para 10%, aumentando a precisão em 25%.
Usar tabelas de decisão para ajudar o agente a escolher a solução correta antes de agir também aumentou a conformidade em 25%.
Ao escrever proibições, é necessário incluir alternativas; apenas escrever “não fazer” faz o agente hesitar, e mais de 15 advertências consecutivas prejudicam claramente o desempenho.
O erro mais comum é ter documentação demais. Quando o agente é puxado para uma grande quantidade de documentação de arquitetura, carregando dezenas de milhares de tokens, a produção de saída piora.
Um módulo acumulou 226 documentos com mais de 2MB, e mesmo o melhor AGENTS.md não ajudou.
Além disso, o AGENTS.md é o único local que o agente lê 100%, e a taxa de descoberta de documentos não referenciados na pasta _docs/ é inferior a 10%.
(Fonte: BlockBeats)