Investigación de Anthropic: La especialización en el campo tiene un impacto mayor en la calidad de la generación de Claude Code que la habilidad para programar

Análisis de Anthropic tras aproximadamente 400,000 sesiones de interacción con Claude Code y alrededor de 235,000 usuarios revela:
La clave para el éxito o fracaso en la codificación con IA no es si sabes programar, sino cuán profundo es tu entendimiento del campo del problema que estás resolviendo.
(Resumen previo: ¡Anthropic lanza Claude Code investigación económica! El potencial de ahorro de los agentes de IA alcanza los 4 mil millones)
(Información adicional: Anthropic lanza un panel de impacto de IA: ¿Cuánto de tu trabajo será reemplazado por IA al ingresar tu profesión en segundos?)

Índice de este artículo

Alternar

• Cómo un contador puede convertirse en un "experto" a los ojos de Claude
• Después de cometer errores, quién puede volver a encarrilar al agente
• Los gerentes superan a los ingenieros de software, casi desaparece la diferencia profesional

En su informe más reciente, Anthropic analizó una muestra de aproximadamente 235,000 usuarios y descubrió que lo que realmente determina el éxito o fracaso de la IA es cuánto entiende la persona que da las instrucciones sobre el problema que está resolviendo.

Cómo un contador puede convertirse en un "experto" a los ojos de Claude

La muestra de esta investigación de Anthropic abarca sesiones de Claude Code desde octubre de 2025 hasta abril de 2026, con aproximadamente 400,000 interacciones.

El informe estableció una escala de cinco niveles de competencia profesional específica para tareas, desde principiante hasta experto. La clave está en que la definición de "competencia" difiere de lo que uno podría pensar. En pocas palabras: cuánto entiendes el problema que estás tratando de resolver, no cuán hábil eres programando.

El ejemplo que dan es muy directo: un ingeniero senior que escribe Rust por primera vez, en esa tarea sería considerado principiante; en cambio, un contador que nunca ha usado Python, si puede explicar con precisión las reglas de conciliación y detectar errores lógicos en los límites de cierre mensual, en esa tarea sería un experto.

Las cifras muestran claramente la gravedad del problema. Una sesión de principiante en promedio activa unos 5 movimientos de Claude y produce unos 600 caracteres; una sesión de experto activa unos 12 movimientos y produce unos 3,200 caracteres, más del doble en acciones y cinco veces en salida comparado con el principiante.

El análisis de regresión de Anthropic muestra que, por cada nivel adicional de competencia, la cantidad de acciones de Claude aumenta aproximadamente un 9%, y la salida aumenta alrededor de un 13%, incluso controlando por tipo de trabajo, valor de la tarea, mes, profesión y versión del modelo.

Después de cometer errores, quién puede volver a encarrilar al agente

Las cifras de éxito son aún más ilustrativas. Anthropic definió dos niveles de éxito: "determinación de éxito" (el clasificador decide si la conversación cumple con los estándares tras leerla) y "éxito de verificación" (que requiere evidencia verificable, como pruebas, commits en git, confirmación explícita del usuario).

En general, cuanto mayor sea la competencia del usuario, mayor será la probabilidad de éxito en la session, y la mayor parte del aumento se concentra en los niveles bajos de la escala, donde la diferencia entre principiante y intermedio es mayor que entre intermedio y experto. Anthropic encontró que la tasa de éxito verificado en sesiones de nivel experto es más del doble que en principiante.

Lo más interesante es la "tasa de reparación tras errores". Anthropic rastreó sesiones problemáticas, es decir, conversaciones que mostraron señales de fallo. En esas sesiones, la tasa de éxito en la verificación subió del 4% en principiantes al 15% en expertos; la proporción de éxito parcial fue del 60% en principiantes y del 80-81% en intermedios y expertos.

La diferencia en la tasa de abandono también es clara. Cuando la sesión enfrenta dificultades, los principiantes tienen un 19% de probabilidad de abandonar directamente (considerando fallo y sin código), mientras que en otros niveles solo un 5-7%. La interpretación de Anthropic es que uno de los valores de la especialización en el campo es la capacidad de encarrilar al agente cuando se desvía.

Este hallazgo apunta a una conclusión contraintuitiva: "Entender el problema" es más importante que "entender la herramienta". Porque entender el problema permite detectar dónde está el error cuando Claude da respuestas incorrectas; entender los límites del problema para explicarlos con precisión; y corregir inmediatamente cuando el agente toma decisiones extrañas.

Los gerentes superan a los ingenieros de software, casi desaparece la diferencia profesional

Los datos de Anthropic desafían otra expectativa: el trasfondo profesional no es tan importante como se pensaba.

La tasa de éxito en sesiones relacionadas con programación en general ronda el 30%, mientras que en otras profesiones es aproximadamente del 26%. Solo en sesiones donde se produce código, la diferencia se amplía a 34% frente a 29%, pero si se amplía a "al menos éxito parcial", ambas categorías están casi iguales: 89% vs 88%.

Más aún, en los diez principales oficios, cada uno se sitúa dentro de los 7 puntos porcentuales del éxito en verificación de los ingenieros de software. Los gerentes incluso tienen una tasa de éxito ligeramente superior. La hipótesis de Anthropic es que su habilidad para asignar tareas y definir especificaciones se ha trasladado a la dirección del agente.

El modo de trabajo también ha evolucionado rápidamente en siete meses. La proporción de sesiones de corrección de errores cayó del 33% al 19%, casi a la mitad; las operaciones relacionadas con despliegue, configuración y ejecución de pipelines subieron del 14% al 21%; y tareas de escritura y análisis de datos casi se duplicaron, pasando del 10% al 20%.

En otras palabras, los usuarios están usando cada vez más a Claude Code para trabajos "periféricos" de la programación, no solo para programar en sí.

El valor económico de las tareas también ha aumentado. Según estimaciones de mercado para trabajos freelance, el valor promedio por sesión subió aproximadamente un 27% en siete meses; las tareas constructivas aumentaron un 43%, las operativas un 34%, y las de reparación un 32%.

Al final del informe, Anthropic propone un marco conceptual que vale la pena recordar: los beneficios provienen de "competence, not mastery", en pocas palabras, de un "conocimiento suficiente", sin necesidad de una maestría profunda.

Tener una comprensión básica o intermedia de un campo permite obtener la mayor parte de los beneficios; al avanzar de intermedio a experto, la pendiente de éxito se vuelve más plana.

Con la expansión continua de las herramientas de IA, lo que amplifica no son las habilidades de programación, sino la profundidad de tu comprensión del problema. Quien no entiende qué problema está resolviendo, incluso con modelos más potentes, solo se perderá más rápido.