Сьогодні ця новина просто вибухнула в світі ШІ! @SentientAGI запустила новий проект під назвою SPIN-Bench разом із Прінстоном і UT Austin, спершу я думав, що це знову "наукова балаканина з купою формул", але, уважно придивившись, я був просто вражений!

Простими словами, ця річ є "соціальним університетом" для ШІ, спеціально навчаючи їх грати в "гру людських стосунків": це не один ШІ, що самостійно вирішує задачі, а група ШІ, які зібралися разом на "великій битві", їм потрібно співпрацювати та змагатися, а також вести переговори - це приблизно те, як змусити ChatGPT залишити базу задач і грати в "Сангуо Ша", де не лише потрібно запам'ятовувати карти, але й вгадувати, чи є союзник зрадником, чи суперник може його обманути!

Раніше тестування AI було дуже поверхневим? Одне питання - одна відповідь, як біг на 100 метрів, пробіг і все. Зараз SPIN-Bench безпосередньо піднявся до рівня "Триатлон ПЛЮС": потрібно планувати довгострокові стратегії (наприклад, як укласти альянси), адаптуватися до командних товаришів, уникати підступів супротивників, а також витримувати непередбачувані ситуації - це вже не іспит, а явно дозволяють AI "крутитись у світі банд"!

В його назві є всі маленькі думки: SPIN=Стратегічне планування (вміє рахувати назад), Взаємодія (вміє спілкуватися), Переговори (вміє торгуватися) — у перекладі на людську мову це посібник з виживання AI-версії «Гри престолів»! Від розбиття довгих завдань (як планувати, як пройти), до гри в шахи з людьми (чисте взаємне підставляння), потім до гри в кооперативні картки (приховуючи, не наважуючись все сказати), і нарешті ще потрібно займатися дипломатією (сьогодні укладемо союз, завтра, можливо, продамо тебе), кожен крок змушує AI використовувати справжній розум, це не просто накопичення обчислювальної потужності!

І ще ця робота дуже жорстка: кожен ШІ повинен проходити процес "оцінка ситуації → надсилання повідомлення → виконання справи", причому повідомлення має бути обмежено в кількості слів, а час на це всього 10 секунд — це точно схоже на те, коли ти граєш у гру і хочеш сказати товаришам по команді "я піду красти вежу, ви тримайтеся", але боїшся, що вороги це побачать, і це неймовірно дратує, справжній "соціальний іспит для ШІ"!

Ще більш вражаюче, що під час кожного тестування все записується (хто що робив, що говорив, які нагороди отримав), хочеш прикинутися розумним і пройти повз? Та не буде! Ти справді розумієш соціальні зв'язки, чи просто прикидаєшся «AI старим хитромудрим», перевір логі і все стане відомо!

Найважливіше, що ця штука вперше може оцінити "соціальний інтелект" ШІ! Раніше перевіряли ШІ на здатність "вирішувати задачі", а тепер – "як воно вміє взаємодіяти з людьми" – нарешті можна зрозуміти, чи дійсно ШІ розуміє людські емоції, чи лише повторює текст як "автоматичний ведучий"! Ось це справжній тест на "справжню розумність" ШІ!

@SentientAGI