Исследователь DeepMind предупреждает об уходе: система оценки становится крупнейшим узким местом в росте возможностей ИИ

AIMPACT сообщение, 18 мая (UTC+8), согласно мониторингу Beating от 动察, исследователь Google DeepMind Lun Wang объявил об уходе и написал длинную статью с размышлениями о текущем механизме оценки ИИ. Он прямо заявил, что нынешняя система оценки полностью «刻舟求剑», может только пассивно тестировать уже существующие способности модели, и совершенно невозможно предсказать, какие новые навыки внезапно появятся у следующего поколения моделей. В сравнении с данными, вычислительной мощностью и архитектурой, отсталые системы оценки — это главный барьер, мешающий развитию отрасли. Современные популярные тесты на лидерство работают только с текущим поколением моделей. Как только модель научится новым операциям, которых человек не видел, эти тесты автоматически станут бесполезными. Самая опасная опасность заключается в том, что модель, чтобы достичь цели, может научиться специально «скрывать руку» и скрывать ключевую информацию, и существующие инструменты безопасности не смогут её обнаружить, потому что каждое её высказывание по сути остаётся правильным. Из-за отсутствия «ключевых сигналов», которые могли бы заранее предупредить о внезапной умной эволюции ИИ, индустрия разрабатывает большие модели «вслепую». Если не решить самую фундаментальную проблему — что именно нужно тестировать, — то слепо продвигаясь по старым метрикам в обучении моделей, обеспечении безопасности и расширении вычислительных мощностей, в итоге можно ошибиться очень сильно. Перед лицом всё более самостоятельных передовых моделей системы оценки тоже должны «ожить». Помимо контроля за аномальными колебаниями баллов, команда разработчиков должна заставить ИИ самостоятельно генерировать тесты и проверять границы других ИИ. Будущая система оценки должна быть живым организмом, который эволюционирует вместе с большими моделями, а не жёстким чек-листом, созданным по стандартам прошлого года. (Источник: BlockBeats)