Pesquisa da Anthropic: Especialização na área influencia mais o desempenho na geração de código Claude do que a habilidade de programação

Análise da Anthropic de aproximadamente 400 mil sessões de interação com Claude Code, cerca de 235 mil usuários, revela: o fator decisivo para o sucesso ou fracasso na codificação com IA não é saber programar, mas a profundidade de compreensão do domínio do problema a ser resolvido.
(Resumindo: a Anthropic lançou uma pesquisa econômica sobre Claude Code! O potencial de economia com agentes de IA chega a 4 bilhões)
(Complemento: painel de impacto da IA da Anthropic: insira sua profissão, descubra em segundos quanto do seu trabalho foi substituído por IA)

Índice deste artigo

Alternar

• Como um contador pode se tornar um "especialista" aos olhos de Claude
• Após cometer erros, quem consegue recolocar o agente na direção certa
• Gestores superam engenheiros de software, a diferença entre profissões quase desaparece

No mais recente relatório de pesquisa, a Anthropic analisou uma amostra de cerca de 235 mil usuários e descobriu que o verdadeiro fator que determina o sucesso ou fracasso na IA é o quão bem quem dá as instruções entende o problema que está sendo resolvido.

Como um contador pode se tornar um "especialista" aos olhos de Claude

A pesquisa da Anthropic abrangeu aproximadamente 400 mil sessões de Claude Code, realizadas entre outubro de 2025 e abril de 2026.

O relatório criou uma escala de cinco níveis de especialização, do iniciante ao especialista. A chave está na definição de "proficiência", que difere do que muitos imaginam. Simplificando: o que importa é o quanto você entende do problema que precisa resolver, não o quanto você sabe programar.

O exemplo dado é bem direto: um engenheiro sênior que escreve Rust pela primeira vez é considerado iniciante; por outro lado, um contador que nunca usou Python, mas consegue explicar com precisão as regras de conciliação e identificar erros lógicos na liquidação mensal, é um especialista naquele tarefa.

A diferença numérica ilustra a gravidade do problema. Uma sessão de iniciante gera em média cerca de 5 ações do Claude e produz aproximadamente 600 palavras; uma sessão de especialista aciona cerca de 12 ações e gera cerca de 3.200 palavras, ou seja, o dobro de ações e cinco vezes mais conteúdo do que a de iniciante.

A análise de regressão da Anthropic mostra que, a cada avanço de nível de especialização, o número de ações do Claude aumenta cerca de 9%, e a produção de texto aumenta cerca de 13%. Essa relação permanece mesmo controlando por tipo de trabalho, valor da tarefa, mês, profissão e versão do modelo.

Após cometer erros, quem consegue recolocar o agente na direção certa

Os números de sucesso explicam melhor o problema. A Anthropic definiu duas camadas de sucesso: "detecção de sucesso" (o classificador avalia se a conversa atingiu o objetivo após a leitura) e "validação de sucesso" (que requer evidências verificáveis, como testes, commits no git ou confirmação explícita do usuário).

De modo geral, quanto maior a proficiência do usuário, maior a chance de sucesso na sessão, sendo que a maior parte do aumento ocorre nas faixas mais baixas da escala, ou seja, a diferença entre iniciante e intermediário é maior do que entre intermediário e especialista. A Anthropic descobriu que a taxa de validação bem-sucedida em sessões de nível especialista é mais de duas vezes maior do que em sessões de iniciante.

Mais interessante ainda é a "taxa de reparo após erro". A Anthropic acompanhou sessões problemáticas, ou seja, aquelas que apresentaram sinais de falha na conversa. Nesses casos, a taxa de validação bem-sucedida passou de 4% para 15% entre iniciante e especialista; a proporção de sessões com pelo menos sucesso parcial foi de 60% para iniciantes e entre 80-81% para intermediários e especialistas.

A diferença na taxa de abandono também é clara. Quando a sessão encontra dificuldades, 19% dos iniciantes desistem imediatamente (considerando falha e zero linhas de código), enquanto os demais níveis têm apenas 5-7%. A interpretação da Anthropic é que uma das vantagens do domínio do problema é justamente a capacidade de redirecionar o agente quando ele sai do caminho.

Essa descoberta leva a uma conclusão contraintuitiva: "entender o problema" é mais importante do que "dominar a ferramenta". Porque quem entende o problema sabe onde o erro está quando a resposta da IA está incorreta; consegue definir com precisão os limites do problema; e pode corrigir imediatamente quando o agente toma decisões estranhas.

Gestão supera engenheiros de software, a diferença entre profissões quase desaparece

Os dados da Anthropic desafiam uma expectativa: a formação profissional não é tão importante quanto se imagina.

Profissões relacionadas a software têm uma taxa de sucesso de aproximadamente 30%, enquanto outras profissões ficam em torno de 26%. Quando consideramos apenas sessões que geraram código efetivo, essa diferença aumenta para 34% versus 29%, mas ao ampliar para sessões que tiveram pelo menos sucesso parcial, as duas categorias ficam praticamente iguais: 89% versus 88%.

Mais interessante ainda é que, entre as dez principais profissões, todas estão dentro de sete pontos percentuais da taxa de sucesso de engenheiros de software. Gestores, inclusive, apresentam uma taxa de sucesso ligeiramente superior à dos engenheiros. A hipótese da Anthropic é que gestores, por sua prática de delegar tarefas e definir especificações, conseguem transferir essa habilidade para comandar o agente.

O modo de trabalho também evoluiu rapidamente em sete meses. Sessões de correção de bugs caíram de 33% para 19%, quase pela metade; operações de software (implantação, configuração, execução de pipelines) subiram de 14% para 21%; escrita e análise de dados quase dobraram, passando de 10% para 20%.

Em outras palavras, os usuários estão usando o Claude Code para cada vez mais tarefas "relacionadas à programação", e não apenas para escrever código.

O valor econômico das tarefas também aumentou. A estimativa da Anthropic, com base em valores de mercado para freelancers, indica que o valor médio por sessão subiu cerca de 27% em sete meses; tarefas de construção aumentaram cerca de 43%, operações cerca de 34% e reparos cerca de 32%.

No final do relatório, a Anthropic propõe um conceito importante: os benefícios vêm de "competência, não de maestria", ou seja, uma "proficiência suficiente", sem necessidade de domínio profundo.

Ter uma compreensão básica a intermediária de um domínio já proporciona a maior parte dos benefícios; ao avançar de intermediário para especialista, a taxa de sucesso tende a se estabilizar.

Com a expansão contínua das ferramentas de IA, o que ela amplifica não é a habilidade de programar, mas a profundidade da sua compreensão do problema. Quem não sabe o que precisa resolver, mesmo com modelos mais avançados, só vai se perder mais rápido.