O teste real do Augment Code sobre o impacto do AGENTS.md na geração de código: o melhor equivale a uma atualização de nível do modelo, o pior é pior do que não escrever.

robot
Geração do resumo em andamento
ME News informa, em 23 de abril (UTC+8), de acordo com o monitoramento do 动察 Beating, a empresa de ferramentas de programação de IA Augment Code extraiu dezenas de AGENTS.md de seu próprio monorepo e usou o conjunto de avaliação interno AuggieBench para medir o impacto real deles na produção do agente de codificação. O método foi usar PRs de alta qualidade já mesclados como referência, deixar o agente refazer a mesma tarefa com e sem AGENTS.md, comparando as pontuações. A diferença foi muito maior do que o esperado. O AGENTS.md melhor escrito trouxe uma melhoria de qualidade equivalente a trocar o modelo de Haiku para Opus, e o pior escrito foi pior do que não ter nenhum. Além disso, o mesmo arquivo pode ter efeitos opostos em tarefas diferentes: ele aumentou a conformidade de uma correção de bug em 25%, mas reduziu a conclusão de uma funcionalidade complexa no mesmo módulo em 30%. Existem algumas práticas de escrita eficazes: arquivo principal com 100 a 150 linhas, com alguns documentos de referência focados, pode trazer uma melhoria geral de 10% a 15% em módulos médios com centenas de arquivos principais. Escrever o processo como etapas numeradas funciona melhor; um processo de implantação de 6 etapas reduziu PRs com arquivos faltando de 40% para 10%, aumentando a precisão em 25%. Usar uma tabela de decisão para ajudar o agente a escolher a abordagem correta antes de agir também aumentou a conformidade em 25%. Escrever proibições deve vir acompanhado de alternativas; apenas escrever 'não faça' faz o agente hesitar, e mais de 15 avisos consecutivos pioram significativamente o efeito. O que mais pode dar errado é ter muitos documentos. Assim que o agente é arrastado para uma grande quantidade de documentos de arquitetura, carregando centenas de milhares de tokens, a produção piora. Um módulo acumulou 226 documentos com mais de 2MB; mesmo um bom AGENTS.md não adianta. Além disso, AGENTS.md é o único local de documento que o agente lê 100% das vezes; documentos não referenciados em _docs/ têm uma taxa de descoberta inferior a 10%. (Fonte: BlockBeats)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários