2026-11-05 12:44:05
Baidu 於 11 月 5 日發布 ERNIE 5.5 Flash Base,參數量達 2800 億
據 PANews 報導,百度於 11 月 5 日發布 ERNIE 5.5 Flash Base,這是其最新的開源基礎模型。該模型採用混合專家(MoE)架構,總參數量達 2,800 億,每個詞元啟用 140 億個參數。該模型以 335 萬億個詞元進行預訓練,預訓練期間的最大上下文長度為 12.8 萬個詞元,並支援在微調和推論期間使用最多 100 萬個詞元。