Чжан Ифань раскрывает полные технические характеристики DeepSeek V4: 1,6 трлн параметров, 384 эксперта с 6 активированными

Согласно мониторингу Dongcha Beating, аспирант Принстона Йифан Чжан обновил технические детали DeepSeek V4 в X. Он анонсировал «V4 на следующей неделе» 19 апреля и перечислил три названия архитектурных компонентов, предоставив полную таблицу параметров сегодня вечером, а также впервые раскрыл существование облегчённой версии V4-Lite с 285 миллиардов параметров. Общие параметры V4 составляют 1,6 триллиона. Механизм внимания — DSA2, который объединяет две схемы разреженного внимания: DSA (DeepSeek Sparse Attention), используемое в V3.2, и NSA (Native Sparse Attention), предложенное в статье ранее в этом году. Размер головы — 512, в паре с разреженным MQA и SWA (Sliding Window Attention). Слой MoE содержит всего 384 эксперта, из которых активируются 6 одновременно, с использованием Fused MoE Mega-Kernel. Остаточные соединения следуют за Hyper-Connections. Детали, раскрытые для этапа обучения, включают: используемый оптимизатор — Muon (матричный оптимизатор, применяющий ортогонализацию Ньютона-Шульца к обновлениям импульса), длина контекста для предобучения — 32K, а этап обучения с подкреплением использует GRPO с добавленной коррекцией по дивергенции Кульбака–Лейблера. Итоговая длина контекста увеличена до 1 миллиона. Модальность — чистый текст. Чжан не занимает должности в DeepSeek, и DeepSeek не ответил на вышеуказанную информацию.