ME News сообщает, 24 апреля (UTC+8), по данным мониторинга Beating, в техническом отчете DeepSeek V4 раскрыто, что V4-Flash и V4-Pro были предварительно обучены на 32T и 33T токенах соответственно, что вдвое превышает примерно 15T токенов V3. В отчете признается, что в процессе обучения «возникли значительные проблемы с нестабильностью», неоднократно наблюдались потери spike (внезапный скачок потерь обучения), причина которых — аномальные значения в слоях MoE; сам механизм маршрутизации усугубляет эти аномалии, и простой откат не устраняет проблему. DeepSeek нашел два решения, которые уже применяются в реальном обучении: Anticipatory Routing (предвидящая маршрутизация), которая отделяет вычисление индекса маршрутизации от обновления основной сети и включается автоматически только при обнаружении потери spike, с дополнительными затратами около 20%; и SwiGLU Clamping, которая ограничивает значения активации фиксированным диапазоном для прямого подавления аномалий. В отчете утверждается, что оба метода эффективны, но признается, что «основополагающие принципы пока не до конца поняты». Исследователь Google DeepMind Сьюзан Чжан (ранее работавшая в Meta AI и OpenAI) прокомментировала, что нестабильность, вызванная удвоением объема обучающих данных, «объясняет задержку», назвав эти два решения «заплатками», но при этом высоко оценила техническую прозрачность DeepSeek. (Источник: BlockBeats)

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

Награда
лайк
комментарий
Репост
Поделиться

комментарий

Добавить комментарий

Нет комментариев

Популярные темы
Подробнее
#
gStocksTokenizedStocksLive
3,99M Популярность
#
StrongNonfarmPayrollsRekindleRateHikeFear
1,02M Популярность
#
IsraelStrikesIranBTCPlunges
67,72K Популярность
#
PredictWorldCupShare20000U
181,89K Популярность
#
ETHBreaks1700
152,53M Популярность

Закреплено

Карта сайта

Исследователь из DeepMind предполагает причину задержки DeepSeek V4: удвоение тренировочных данных до 33T вызвало серьезную нестабильность.

Популярные темы

gStocksTokenizedStocksLive

StrongNonfarmPayrollsRekindleRateHikeFear

IsraelStrikesIranBTCPlunges

PredictWorldCupShare20000U

ETHBreaks1700

Закреплено