Исследование Anthropic: профессиональные знания в области важнее навыков программирования для качества генерации Claude Code

Анализируя около 400 000 сессий взаимодействия Claude Code и примерно 235 000 пользователей, Anthropic обнаружила: ключ к успеху или неудаче в AI-кодировании — не в умении писать программы, а в глубине понимания области, в которой решается задача.
(Предыстория: Anthropic выпустила экономическое исследование Claude Code! Потенциал экономии с помощью AI-агентов достигает 4 миллиардов)
(Дополнительный фон: Anthropic запустила панель мониторинга воздействия AI: вводите профессию — мгновенно узнавайте, сколько работы у вас заберет AI)

Содержание статьи

Переключить

• Как бухгалтер может стать «экспертом» в глазах Claude
• После ошибок — кто сможет вернуть агента на правильный путь
• Руководители превосходят программистов, профессиональные различия почти исчезают

В последнем исследовании Anthropic проанализировала около 235 000 пользователей и обнаружила, что истинным фактором успеха или неудачи AI является уровень понимания человеком решаемой задачи.

Как бухгалтер может стать «экспертом» в глазах Claude

Образец исследования Anthropic охватывает сессии Claude Code с октября 2025 по апрель 2026 года, всего около 400 000 случаев.

В отчёте создана система «пятиуровневой шкалы профессионализма по задачам», от новичка до эксперта. Ключ в том, что определение «профессионализма» отличается от привычного. Проще говоря: насколько хорошо вы понимаете проблему, которую решаете, а не насколько хорошо умеете писать код.

Пример, приведённый в отчёте, очень наглядный: опытный инженер впервые пишет на Rust — в этой задаче он считается новичком; наоборот, бухгалтер, никогда не использовавший Python, если точно укажет Claude, какие условия должны выполняться при сверке счетов и сможет выявить логические ошибки в месячном закрытии, — в этой задаче он будет экспертом.

Цифры прямо показывают серьёзность проблемы. Средняя сессия новичка вызывает около 5 действий Claude и даёт примерно 600 слов вывода; у эксперта — около 12 действий и примерно 3 200 слов, что более чем в два раза больше по количеству действий и в пять раз по объёму текста.

Регрессионный анализ Anthropic показывает, что с каждым повышением уровня профессионализма количество действий Claude увеличивается примерно на 9%, а объём вывода — на 13%. Эта зависимость сохраняется даже после учёта типа задачи, её ценности, месяца, профессии и версии модели.

После ошибок — кто сможет вернуть агента на правильный путь

Цифры успеха ещё ярче иллюстрируют проблему. Anthropic определила два уровня критериев успеха: «определение успеха» (классификатор после диалога решает, достигнута ли цель) и «подтверждение успеха» (наличие проверяемых доказательств, например, тестов, коммитов в git, явного подтверждения пользователя).

В целом, чем выше профессиональный уровень пользователя, тем выше вероятность успеха сессии, и большинство прироста наблюдается на низких уровнях шкалы — разрыв между новичком и средним уровнем больше, чем между средним и экспертом. Anthropic обнаружила, что уровень эксперта верифицированных сессий подтверждается более чем в два раза чаще, чем у новичков.

Интересно и то, что «процент исправлений ошибок» тоже значительно выше. В тех сессиях, где возникали проблемы, уровень подтверждения успеха у новичков — всего 4%, у экспертов — 15%; при этом доля частичных успехов у новичков — 60%, у среднего и высокого уровня — 80-81%.

Разница в отказах тоже заметна. Когда сессия сталкивается с трудностями, у новичков есть 19% шанс сразу отказаться (признать неуспех и не написать ни строчки кода), тогда как у остальных уровней — всего 5-7%. Anthropic интерпретирует это так: профессиональная область ценна ещё и тем, что при отклонениях агента она способна его вернуть в нужное русло.

Это открытие ведёт к парадоксальному выводу: «понимание проблемы» важнее «знания инструментов». Потому что только понимая проблему, можно заметить ошибку в ответе Claude, точно указать границы задачи и сразу исправить, если агент принимает неправильное решение.

Руководители превосходят программистов, профессиональные различия почти исчезают

Данные Anthropic опровергают ещё одно предположение: профессиональный опыт не так важен, как кажется.

Общий уровень успешности в программировании у специалистов — около 30%, у представителей других профессий — около 26%. Если смотреть только на сессии, где есть хотя бы частичное написание кода, разница увеличивается до 34% против 29%, но при условии «хотя бы частичного успеха» показатели почти совпадают: 89% против 88%.

Более того, все десять наиболее популярных профессий показывают уровень успешности, не превышающий на 7 процентных пунктов показатель программистов. Руководители даже чуть превосходят программистов по уровню подтверждения успеха, что, по мнению Anthropic, связано с их привычкой ставить задачи и формулировать требования — навыками, которые легко переносятся на управление агентами.

Рабочие модели за семь месяцев также претерпели быстрые изменения. Доля сессий по исправлению ошибок снизилась с 33% до 19%, почти вдвое; операции с программным обеспечением (развёртывание, настройка, запуск пайплайнов) выросли с 14% до 21%; написание текстов и анализ данных увеличились примерно вдвое — с 10% до 20%.

Иными словами, пользователи всё чаще используют Claude Code для «вспомогательных задач», связанных с программированием, а не только для написания кода.

Экономическая ценность задач также выросла. По оценкам Anthropic, средняя рыночная стоимость каждой сессии за семь месяцев выросла примерно на 27%; в задачах построения — примерно на 43%, в операционных — на 34%, в исправительных — на 32%.

В конце отчёта Anthropic предлагает запомнить важную концепцию: выгода достигается «competence, not mastery», то есть «достаточным уровнем владения», а не глубоким мастерством.

Обладание базовым или средним пониманием области позволяет получить большинство преимуществ; при переходе с среднего уровня к эксперту прирост вероятности успеха заметно замедляется.

По мере расширения возможностей AI-инструментов, усиливается не навыки программирования, а глубина понимания проблем. Те, кто не понимает, что именно нужно решить, даже с более мощной моделью только быстрее заблудится.