Чи тут AGI? Ще навіть близько не стоїть, свідчить новий бенчмарк штучного інтелекту

Коротко

• ARC-AGI-3 виявляє величезний розрив між заявами про AGI та реальністю: провідні моделі ШІ показують менше 1%, тоді як люди досягають ідеальної роботи.
• Бенчмарк тестує справжню здатність до узагальнення — необхідно досліджувати, планувати та навчатися з нуля в невідомих середовищах, а не просто відтворювати натреновані шаблони.
• Попри галас у галузі, сучасні системи ШІ залишаються далекі від AGI, їм бракує логіки та адаптивності, які навіть молоді люди демонструють природно.

Генеральний директор Nvidia Дженсен Хуанг минулого тижня з'явився у подкасті Лекса Фрідмана і прямо сказав: «Я вважаю, що ми досягли AGI». Через два дні з'явився найжорсткіший тест у дослідженнях ШІ, і його новий бенчмарк для штучного загального інтелекту — і всі передові моделі показали менше 1%.

Фонд ARC Prize випустив ARC-AGI-3 цього тижня, і результати вражають. Gemini 3.1 Pro від Google показав 0,37%. GPT-5.4 від OpenAI — 0,26%. Claude Opus 4.6 від Anthropic — 0,25%, а Grok-4.20 від xAI — зовсім 0%. Люди ж розв’язали 100% середовищ.

Це не тест на знання або програмування, і навіть не складні питання рівня PhD. ARC-AGI-3 — зовсім інше, ніж будь-який попередній виклик для галузі ШІ.

Бенчмарк створили Франсуа Шолле та Майк Кноп, засновники, які організували внутрішню ігрову студію і створили 135 оригінальних інтерактивних середовищ з нуля. Ідея — вставити агент ШІ у незнайомий ігровий світ без інструкцій, цілей або опису правил. Агент має досліджувати, з’ясувати, що потрібно робити, сформувати план і виконати його.

Якщо це звучить так, ніби будь-яка п’ятирічна дитина може це зробити, ви починаєте розуміти проблему. Якщо хочете перевірити, чи ви кращі за ШІ, можете спробувати ті самі ігри, натиснувши цю посилання. Ми спробували одну — спочатку було дивно, але через кілька секунд все стало зрозуміло.

Це також найчіткіший приклад того, що означає “G” у AGI. Загаломізація означає здатність створювати нові знання (як працює дивна гра) без попереднього навчання.

Попередні версії ARC тестували статичні візуальні головоломки — показати шаблон, передбачити наступний. Спочатку вони були складними. Потім лабораторії додавали обчислювальні ресурси і тренування, і бенчмарки стали практично недосяжними. ARC-AGI-1, запущений у 2019 році, тестувався на тренуванні під час виконання та логіці. ARC-AGI-2 тривав близько року, поки Gemini 3.1 Pro не досяг 77,1%. Лабораторії дуже добре насичують бенчмарки, на які можна тренуватися.

Версія 3 була створена спеціально, щоб цього уникнути. З 135 середовищ 110 залишили приватними — 55 напівприватних для API-тестування і 55 повністю закритих для змагань — тож немає набору даних для запам’ятовування. Ви не можете просто перебити логіку гри, яку ніколи раніше не бачили.

Оцінка також не є проходженням або провалом. ARC-AGI-3 використовує так званий RHAE — відносну ефективність людських дій. Базовий рівень — це друга за ефективністю людська робота з першим запуском. ШІ, що робить у десять разів більше дій, отримує 1% за цей рівень, а не 10%. Формула підносить штраф за неефективність у квадраті. Блукання, повернення назад і здогадки караються суворо.

Найкращий агент ШІ у місячному попередньому тестуванні набрав 12,58%. Передові моделі LLM через офіційний API без додаткових інструментів не змогли подолати 1%. Звичайні люди розв’язали всі 135 середовищ без попереднього навчання і без інструкцій. Якщо це планка, то сучасні моделі ще її не досягають.

Є один справжній методологічний спір. Звіт ARC каже, що кастомний інструментарій, створений у Duke, підняв Claude Opus 4.6 з 0,25% до 97,1% на одному варіанті середовища TR87. Це не означає, що Claude набрав 97,1% у цілому за ARC-AGI-3; його офіційний бал залишився 0,25%, але цей зсув все ж вартий уваги.

Офіційний бенчмарк подає агентам JSON-код, а не візуальні дані. Це або методологічна помилка, або демонстрація того, що сучасні моделі краще обробляють людську інформацію, ніж сирі структуровані дані. Засновники Chollet це визнають, але формат не змінюють.

“Сприйняття змісту кадру та формат API не обмежують продуктивність передових моделей на ARC-AGI-3,” — йдеться у документі. Іншими словами, вони заперечують ідею, що моделі не справляються через неспроможність “бачити” завдання належним чином, стверджуючи, що сприйняття вже достатнє — і справжня різниця у логіці та здатності до узагальнення.

Реальність AGI настала у тиждень, коли галас у галузі був на піку. Крім коментаря Хуанга, Arm назвала свій новий дата-центр “AGI CPU”. Сем Альтман з OpenAI заявив, що вони “практично створили AGI”, а Microsoft вже рекламує лабораторію, яка зосереджена на створенні ASI: еволюції того, що з’явиться після досягнення AGI. Терміни розтягнули до такої міри, що вони починають означати все, що зручно для комерції.

Позиція Шолле проста. Якщо звичайна людина без інструкцій може це зробити, а ваша система — ні, то у вас немає AGI — є дуже дорогий автозаповнювач, що потребує багато допомоги.

ARC Prize 2026 пропонує 2 мільйони доларів у трьох конкурсних треках, усі на Kaggle. Кожне рішення має бути відкритим кодом. Час іде, а поки що машини навіть близько не підходять до цієї мети.

Щоденний дайджест новин

Починайте кожен день із головних новин прямо зараз, а також оригінальні матеріали, подкасти, відео та інше.

Ваш Email

Отримати!