ME News сообщение, 24 апреля (UTC+8), по данным мониторинга Beating, руководитель команды больших моделей Xiaomi Ло Фули указал, что конкуренция больших моделей полностью перешла из эры Chat, доминирующей предварительным обучением, в эру Agent, доминирующую пост-обучением (Post-train). Текущая ключевая задача — «как правильно выполнить scaling усиливающего обучения (RL) на Agent». Эта смена парадигмы напрямую привела к перераспределению вычислительных мощностей. Ло Фули сообщил, что в эру Chat соотношение вычислительных мощностей для исследований, предварительного обучения и пост-обучения составляло примерно 3:5:1; в нынешнюю эру Agent разумное соотношение распределения вычислительных мощностей стало 3:1:1, то есть затраты на предварительное и пост-обучение стали практически равными, и сейчас ведущие команды по моделям достигли соотношения 1:1 по этим двум пунктам. В то же время требования к системной архитектуре также претерпели кардинальные изменения. Раньше инфраструктура RL была в основном сосредоточена на «движке вывода модели», обрабатывая чисто текстовые вычисления; теперь инфраструктура должна быть сосредоточена на «Agent», поддерживать планирование гетерогенных кластеров и допускать неопределенность прерываний Agent в сложных рабочих процессах из-за различных неконтролируемых факторов. (Источник: BlockBeats)

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

Награда
лайк
комментарий
Репост
Поделиться

комментарий

Добавить комментарий

Нет комментариев

Популярные темы
Подробнее
#
GateCompletesDividendDistribution
526,78K Популярность
#
CirclePlunges17%
6,51M Популярность
#
IsraelStrikesIranBTCPlunges
67,51K Популярность
#
PredictWorldCupShare20000U
157,98K Популярность
#
GateCardPointsSystemLaunched
116,79K Популярность

Закреплено

Карта сайта

Популярные темы

GateCompletesDividendDistribution

CirclePlunges17%

IsraelStrikesIranBTCPlunges

PredictWorldCupShare20000U

GateCardPointsSystemLaunched

Закреплено