Wenxin 5.1 est officiellement lancé ! Le coût de pré-entraînement n'est que de 6 % de celui de l'industrie

Aujourd’hui, Wenxin 5.1 est officiellement lancé.
Réduisant considérablement le coût de pré-entraînement, en compressant le nombre total de paramètres à environ un tiers, et les paramètres actifs à environ la moitié, tout en utilisant seulement environ 6 % du coût de pré-entraînement d’un modèle de même taille dans l’industrie, il dépasse les modèles de même niveau en termes de performance de base. (Baidu Wenxin)