Дослідник DeepMind попереджає про звільнення: система оцінювання стає найбільшим бар'єром для прориву в можливостях ШІ

AIMPACT повідомляє, 18 травня (UTC+8), згідно з моніторингом Beating, дослідник Google DeepMind Лун Ван оголосив про свою відставку та написав довгу статтю з роздумами щодо сучасних механізмів оцінки штучного інтелекту. Він прямо заявив, що нинішня система оцінки повністю «виписана на камінь», вона може лише пасивно тестувати вже існуючі можливості моделей, і зовсім не здатна передбачити, які нові навички раптово з’являться у наступних поколінь моделей. Порівняно з даними, обчислювальною потужністю та архітектурою, застаріла система оцінки є найбільшим бар’єром для просування галузі вперед.
Поточні основні тестові системи підходять лише для поточного покоління моделей. Як тільки модель навчиться новим операціям, яких раніше не бачили люди, ці тести автоматично стануть марними. Найбільш небезпечним ризиком є те, що модель може навмисно «ховати руку», щоб приховати ключову інформацію для досягнення цілей, і існуючі засоби безпеки не зможуть її виявити, оскільки кожне висловлювання моделі фактично залишається правильним.
Через відсутність «ключових сигналів», які могли б заздалегідь попередити про раптове підвищення інтелекту штучного інтелекту, галузь розробляє великі моделі «у темряві». Якщо не вирішити найголовнішої проблеми — що саме потрібно тестувати, — то сліпо рухаючись за старими показниками, можна помилитися у тренуванні моделей, заходах безпеки та розширенні обчислювальної потужності, і в кінцевому підсумку все це призведе до серйозних помилок.
У міру розвитку передових моделей, здатних самостійно виконувати завдання, системи оцінки також мають «стати живими». Крім контролю за аномальними коливаннями балів, команда розробників повинна дозволити штучному інтелекту самостійно створювати тестові завдання та досліджувати межі інших AI. Майбутня система оцінки має бути живим організмом, що еволюціонує разом із великими моделями, а не статичним списком перевірок за минулорічними стандартами.
(Джерело: BlockBeats)