Это ИИ общего назначения уже здесь? Даже близко не стоит, говорит новый бенчмарк ИИ

Вкратце

• ARC-AGI-3 выявляет огромный разрыв между заявлениями об AGI и реальностью: лучшие модели ИИ показывают менее 1%, в то время как человек достигает идеальных результатов.
• Тест проверяет истинную обобщающую способность — необходимость исследовать, планировать и учиться с нуля в неизвестных условиях, а не просто воспроизводить обученные шаблоны.
• Несмотря на индустриальный хайп, современные системы ИИ далеки от AGI, им не хватает логического мышления и адаптивности, которые даже у молодых людей проявляются естественно.

Генеральный директор Nvidia Дженсен Хуанг на прошлой неделе заявил в подкасте Лекса Фридмана: «Я считаю, что мы достигли AGI». Через два дня самый строгий тест в области ИИ опубликовал свой новый бенчмарк искусственного общего интеллекта — и все передовые модели показали менее 1%.

Фонд ARC Prize выпустил ARC-AGI-3 на этой неделе, и результаты оказались жесткими. Лидером стал Gemini 3.1 Pro от Google с результатом 0,37%. GPT-5.4 от OpenAI набрал 0,26%. Claude Opus 4.6 от Anthropic — 0,25%, а Grok-4.20 от xAI — ровно 0%. В то время как люди решили 100% задач.

Это не викторина или тест по программированию, и даже не сложные вопросы уровня PhD. ARC-AGI-3 — это совершенно иной вызов, чем что-либо, с чем сталкивалась индустрия ИИ раньше.

Тест был создан фондом Франсуа Шолле и Майка Кнопа, который организовал внутреннюю игровую студию и создал 135 оригинальных интерактивных окружений с нуля. Идея — запустить ИИ-агента в незнакомый игровой мир без инструкций, целей или описания правил. Агент должен исследовать, понять, что от него требуется, сформировать план и выполнить его.

Если это звучит так, будто любой пятилетний справится, вы начинаете понимать проблему. Хотите проверить, лучше ли вы ИИ? Тогда можете поиграть в те же игры, что и в тест, перейдя по этой ссылке. Мы попробовали одну — сначала было странно, но через несколько секунд стало понятно.

Это также самый яркий пример того, что означает буква «G» в AGI. Когда вы обобщаете, вы можете создавать новые знания (как работает странная игра) без предварительного обучения.

Ранее версии ARC тестировали статические визуальные головоломки — показать паттерн, предсказать следующий. Сначала было трудно. Потом лаборатории добавляли вычислительные ресурсы и обучение, пока бенчмарки не стали практически бесполезными. ARC-AGI-1, выпущенный в 2019 году, провалился на тестах с обучением во время выполнения и моделях рассуждения. ARC-AGI-2 продержался около года, пока Gemini 3.1 Pro не достиг 77,1%. Лаборатории отлично умеют насыщать бенчмарки, на которые можно обучаться.

Версия 3 была специально разработана, чтобы этого избежать. 110 из 135 окружений остались закрытыми — 55 полузакрыты для API-тестирования и 55 полностью закрыты для соревнований — так что нет набора данных для запоминания. Невозможно перебором пройти через новую логику игры, которую никогда не видел.

Оценка не является «зачтено/не зачет». ARC-AGI-3 использует так называемый RHAE — относительную эффективность человеческих действий. Базовая точка — это результат второго по эффективности человека при первом запуске. ИИ, который делает в десять раз больше действий, получает 1% за этот уровень, а не 10%. Формула возводит штраф за неэффективность в квадрат. Блуждание, возврат назад и угадывание ответа строго наказываются.

Лучший ИИ-агент в месячном предварительном просмотре набрал 12,58%. Передовые языковые модели, протестированные через официальный API без кастомных инструментов, не смогли преодолеть 1%. Обычные люди решили все 135 окружений без предварительной подготовки и инструкций. Если это планка, то текущие модели ей не соответствуют.

Есть один важный методологический спор. В отчете ARC говорится, что специально созданная система Duke подтолкнула Claude Opus 4.6 с 0,25% до 97,1% на одном варианте окружения TR87. Это не означает, что Claude набрал 97,1% по всему ARC-AGI-3; его официальный результат остался 0,25%, но такой скачок всё равно заслуживает внимания.

Официальный бенчмарк подает агентам JSON-код, а не визуальные изображения. Это либо методологический недостаток, либо демонстрация того, что современные модели лучше обрабатывают понятную человеку информацию, чем сырые структурированные данные. Фонд Шолле признал этот спор, но менять формат не собирается.

«Восприятие содержимого кадра и формат API не являются ограничивающими факторами для производительности передовых моделей на ARC-AGI-3», — говорится в документе. Другими словами, они отвергают идею, что модели не справляются из-за неспособности «видеть» задачи правильно, утверждая, что восприятие уже достаточно развито — а настоящая разница в логическом мышлении и обобщении.

Реальность AGI подтверждается в неделю, когда хайп достиг максимума. Помимо комментария Хуанга, Arm назвала свой новый дата-центрный чип «AGI CPU». Сэм Альтман из OpenAI заявил, что они «в основном создали AGI», а Microsoft уже продвигает лабораторию, сосредоточенную на создании ASI: эволюции того, что последует за достижением AGI. Термин используют настолько широко, что он начинает означать всё, что удобно с коммерческой точки зрения.

Позиция Шолле проще. Если обычный человек без инструкций может это сделать, а ваша система — нет, значит, у вас нет AGI — есть очень дорогой автодополнятор, которому нужна большая помощь.

ARC Prize 2026 предлагает 2 миллиона долларов в рамках трех конкурсов, все на платформе Kaggle. Каждый победительский проект должен быть открытым исходным кодом. Время идет, а сейчас машины даже близко не подходят к этому уровню.

Ежедневный информационный бюллетень

Начинайте каждый день с главных новостей, оригинальных материалов, подкастов, видео и другого.

Ваш Email

Получить!

Получить!