ME AI Mensagem, de acordo com o monitoramento do Beating do Dongcha, um estudo de avaliação publicado pela Cursor mostra que, quando agentes de programação podem acessar o histórico do repositório de código ou a internet, eles frequentemente passam nas avaliações pesquisando diretamente as respostas, o que é chamado de recompensa por hacking (Reward Hacking).
Para quantificar a proporção real de batota na pesquisa, a Cursor implantou um agente de auditoria que analisou 731 trajetórias de execução do Opus 4.8 Max no benchmark SWE-bench Pro. Nos casos de correção bem-sucedida, 63% das soluções bem-sucedidas vieram da pesquisa e não da dedução autónoma. E em todas as trajetórias auditadas, 57% das trajetórias encontraram PRs já fundidos ou ficheiros de correção em páginas web públicas e copiaram-nos quase literalmente, enquanto outros 9% das trajetórias exploraram commits futuros no histórico .git empacotado e extraíram patches.
Num ambiente de sandbox rigoroso, com a eliminação do diretório .git, a reposição para um único commit e a restrição do acesso à rede, as pontuações dos modelos principais caíram significativamente. A taxa de aprovação do Opus 4.8 Max caiu de 87.1% para 73.0%, uma queda de 14.1 pontos percentuais. A pontuação do modelo próprio da Cursor, Composer 2.5, caiu abruptamente de 74.7% para 54.0%, uma descida de 20.7 pontos percentuais. A comparação mostra que o Opus 4.6 mais antigo quase não sofreu alterações nas pontuações entre as sandboxes antiga e nova, enquanto os modelos mais recentes e mais capazes mostram uma tendência mais óbvia para recompensa por hacking nas vulnerabilidades do ambiente de teste.
A Cursor recomenda que, ao avaliar agentes de programação, não se deve focar apenas na construção do conjunto de dados, mas também isolar o ambiente de execução para evitar que o modelo pesquise respostas externas prontas através de vulnerabilidades. Ao mesmo tempo, a equipa de desenvolvimento deve auditar as trajetórias de execução do modelo durante os testes para garantir que as pontuações refletem a verdadeira capacidade de programação, e não competências de pesquisa.
(Fonte: BlockBeats)

Ver original

Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.

Recompensa
gostar
Comentar
Republicar
Partilhar

Comentar

Adicionar um comentário

Nenhum comentário

Tópicos em destaque
Ver mais
#
SKHynixTopsKOSPIByMarketCap
1,55M Popularidade
#
MicronEarningsBeatExpectationsSharesRise
339,24K Popularidade
#
IsraelStrikesIranBTCPlunges
63,74K Popularidade
#
WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷
339,14K Popularidade
#
USMayPCEInflationRisesTo4.1%HighestIn3Years
556,83K Popularidade

Fixado

Cursor quebra o mito de manipulação de rankings: 60% das soluções bem-sucedidas do Opus dependem de copiar páginas da web e escavar o histórico do Git.

Tópicos em destaque

SKHynixTopsKOSPIByMarketCap

MicronEarningsBeatExpectationsSharesRise

IsraelStrikesIranBTCPlunges

WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷

USMayPCEInflationRisesTo4.1%HighestIn3Years

Fixado