128 cartes A100 entraînées de zéro ! ByteOpen source le modèle multimodal polyvalent 3B Lance

ME News Actualités, le 19 mai (UTC+8), selon le monitoring de Beating, ByteDance Research a officiellement open-sourcé le modèle multimodal unifié natif Lance. Il s'agit d'un modèle léger avec seulement 3 milliards de paramètres d'activation, qui supporte simultanément la compréhension, la génération et l'édition d'images et de vidéos dans un cadre unique.
Actuellement, les modèles unifiés grand public dépendent fortement de l'augmentation de la taille des paramètres ou de l'utilisation de l'architecture de génération de texte-image, tandis que Lance a adopté une approche collaborative à très faible puissance de calcul.
L'équipe de développement a entraîné le modèle entièrement à partir de zéro, en réduisant le budget total de calcul de tout le cycle d'entraînement à 128 GPU A100.
Pour résoudre les conflits internes entre différentes modalités et tâches, Lance a effectué deux isolations strictes dans son architecture :

• Utilisation d'une architecture de spécialistes hybrides à double flux (MoE) pour traiter des séquences multimodales imbriquées, en partageant le contexte de bas niveau tout en déliant les chemins de calcul de compréhension et de génération.
• Introduction d'un codage de position rotatif sensible à la modalité, qui atténue directement le signal d'interférence entre les tokens visuels hétérogènes d'images et de vidéos.
  Une compression extrême de la puissance de calcul n'a pas réduit la limite de performance.
  Avec seulement 3 milliards de paramètres d'activation, Lance domine la plupart des benchmarks en termes de génération et d'édition d'images et de vidéos, surpassant les modèles unifiés open source existants, et a prouvé qu'il était possible de concilier faible coût, génération et compréhension sémantique grâce à une collaboration multi-tâches.
  (Source : BlockBeats)