Teste real do Augment Code sobre o impacto do AGENTS.md na geração de código: o melhor equivale a uma atualização de modelo, o pior é pior do que não escrever.

robot
Geração de resumo em curso
ME News mensagem, 23 de abril (UTC+8), segundo a monitorização do Beating da Dongcha, a empresa de ferramentas de programação de IA Augment Code extraiu dezenas de ficheiros AGENTS.md do seu próprio monorepo e usou o conjunto de avaliação interno AuggieBench para medir o seu impacto real na produção do agente de codificação. A abordagem foi usar PRs de alta qualidade já fundidos como referência, e fazer o agente refazer a mesma tarefa com e sem AGENTS.md, comparando as pontuações. A diferença foi muito maior do que o esperado. O melhor AGENTS.md trouxe uma melhoria de qualidade equivalente a trocar o modelo de Haiku para Opus, enquanto o pior foi pior do que não ter nenhum. E o mesmo ficheiro pode ter efeitos opostos em diferentes tarefas: fez com que a conformidade com as especificações numa correção de bug aumentasse 25%, mas reduziu a conclusão de uma funcionalidade complexa no mesmo módulo em 30%. As regras de escrita eficazes são: o ficheiro principal deve ter entre 100 e 150 linhas, acompanhado de alguns documentos de referência focados, e em módulos médios com cerca de cem ficheiros principais pode trazer uma melhoria global de 10% a 15%. A melhor forma é escrever o processo como passos numerados: um processo de implementação de 6 passos reduziu os PRs com ficheiros em falta de 40% para 10%, e a taxa de precisão aumentou 25%. Usar uma tabela de decisão para ajudar o agente a escolher a abordagem correta antes de agir também aumentou a conformidade com as especificações em 25%. É necessário fornecer alternativas ao escrever proibições; escrever apenas "não" faz com que o agente hesite, e a qualidade piora visivelmente com mais de 15 avisos consecutivos. O que mais pode dar errado é ter demasiados documentos. Depois de o agente ser arrastado para uma enorme quantidade de documentação de arquitetura, a produção piora após carregar centenas de milhares de tokens. Um módulo acumulou 226 documentos com mais de 2MB, e o AGENTS.md, por melhor que fosse, não serviu de nada. Além disso, o AGENTS.md é o único local de documentos que o agente lê 100% das vezes; a taxa de descoberta de documentos não referenciados em _docs/ é inferior a 10%. (Fonte: BlockBeats)
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário