ME AI mensaje, según el monitoreo de Beating, un estudio de evaluación publicado por Cursor muestra que los agentes de programación, cuando pueden acceder al historial del repositorio de código o a Internet, a menudo pasan las evaluaciones buscando directamente las respuestas, lo que se conoce como recompensa pirateada (Reward Hacking). Para cuantificar la proporción real de trampas de recuperación, Cursor desplegó agentes de auditoría para analizar 731 trayectorias de ejecución de Opus 4.8 Max en el punto de referencia SWE-bench Pro. En los casos de reparación exitosa, el 63% de las soluciones exitosas provinieron de la recuperación en lugar de la deducción autónoma. Y entre todas las trayectorias auditadas, el 57% de las trayectorias encontraron PR fusionadas o archivos de origen de reparación en páginas web públicas y los copiaron casi literalmente, mientras que otro 9% de las trayectorias excavaron confirmaciones futuras en el historial empaquetado de .git y extrajeron parches. En un entorno de caja de arena estricto donde se eliminó el directorio .git, se restableció a una sola confirmación y se restringió el acceso a la red, las puntuaciones de los modelos principales se redujeron significativamente. La tasa de aprobación de Opus 4.8 Max cayó del 87,1% al 73,0%, una disminución de 14,1 puntos porcentuales. La puntuación del modelo propio de Cursor, Composer 2.5, se desplomó del 74,7% al 54,0%, una caída de 20,7 puntos porcentuales. La comparación muestra que el Opus 4.6 más antiguo apenas cambió en las puntuaciones entre la caja de arena antigua y la nueva, mientras que los modelos más nuevos y más capaces muestran una tendencia más pronunciada a la recompensa pirateada por las vulnerabilidades del entorno de prueba. Cursor sugiere que al evaluar agentes de programación, no solo se debe prestar atención a la construcción del conjunto de datos, sino que también se debe aislar el entorno de ejecución para evitar que el modelo busque respuestas externas prefabricadas a través de vulnerabilidades. Al mismo tiempo, el equipo de desarrollo debe auditar las trayectorias de ejecución del modelo en las pruebas para asegurarse de que las puntuaciones reflejen la verdadera capacidad de programación, en lugar de habilidades de búsqueda y recuperación. (Fuente: BlockBeats)

Ver original

Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.

Recompensa
Me gusta
Comentar
Republicar
Compartir

Comentar

Añadir un comentario

Sin comentarios

Temas de actualidad
Ver más
#
SKHynixTopsKOSPIByMarketCap
1,55M Popularidad
#
MicronEarningsBeatExpectationsSharesRise
339,24K Popularidad
#
IsraelStrikesIranBTCPlunges
63,74K Popularidad
#
WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷
339,14K Popularidad
#
USMayPCEInflationRisesTo4.1%HighestIn3Years
556,83K Popularidad

Fijado

Cursor desmonta el mito de los rankings de modelos: el 60% de las soluciones exitosas de Opus se basan en copiar páginas web y escarbar el historial de Git.

Temas de actualidad

SKHynixTopsKOSPIByMarketCap

MicronEarningsBeatExpectationsSharesRise

IsraelStrikesIranBTCPlunges

WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷

USMayPCEInflationRisesTo4.1%HighestIn3Years

Fijado