AIMPACT сообщение, 18 мая (UTC+8), согласно мониторингу Beating от 动察, исследователь Google DeepMind Lun Wang объявил об уходе и написал длинную статью о текущем механизме оценки ИИ. Он прямо заявил, что нынешняя система оценки полностью «刻舟求剑», может только пассивно тестировать уже существующие способности модели, и совершенно невозможно предсказать, какие новые навыки внезапно появятся у следующего поколения моделей. В сравнении с данными, вычислительной мощностью и архитектурой, отсталые системы оценки — это главный барьер, мешающий развитию отрасли. Современные популярные тесты на лидерство работают только с текущим поколением моделей. Как только модель научится новым операциям, которых человек не видел, эти тесты автоматически станут бесполезными. Самая опасная опасность заключается в том, что модель, чтобы достичь цели, может специально «скрывать карты» и скрывать ключевую информацию, а существующие инструменты безопасности не смогут её обнаружить, потому что каждое её высказывание по сути всё ещё является правильным. Из-за отсутствия «ключевых сигналов», позволяющих заранее предупредить о внезапной умной эволюции ИИ, индустрия разрабатывает большие модели «вслепую». Если не решить самую фундаментальную проблему — что именно нужно тестировать, — то слепо продвигаясь по старым метрикам в обучении моделей, обеспечении безопасности и расширении вычислительных мощностей, в итоге можно ошибиться очень сильно. Перед лицом всё более самостоятельных передовых моделей, системы оценки тоже должны «ожить». Помимо контроля за аномалиями в баллах, команда разработчиков должна заставить ИИ самостоятельно генерировать тесты и проверять границы других ИИ. Будущая система оценки должна быть живым организмом, который развивается вместе с большими моделями, а не жёстким чек-листом, созданным по стандартам прошлого года. (Источник: BlockBeats)

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

Награда
лайк
комментарий
Репост
Поделиться

комментарий

Добавить комментарий

Нет комментариев

Популярные темы
Подробнее
#
MyGateTradeStory
133,01K Популярность
#
TradFiCFDGoldMaster
1,99M Популярность
#
IsraelStrikesIranBTCPlunges
57,38K Популярность
#
PredictWorldCup🇺🇸vs🇵🇾
763,91K Популярность
#
MarvellSurgesOver11%LeadingChipSectorWithAI
5,72M Популярность

Закреплено

Карта сайта

Исследователь DeepMind предупреждает об уходе: система оценки становится крупнейшим узким местом в росте возможностей ИИ

Популярные темы

MyGateTradeStory

TradFiCFDGoldMaster

IsraelStrikesIranBTCPlunges

PredictWorldCup🇺🇸vs🇵🇾

MarvellSurgesOver11%LeadingChipSectorWithAI

Закреплено