128 cartes A100 entraînées de zéro ! ByteOpen-sourcise le modèle multimodal polyvalent 3B Lance

ME News Actualités, le 19 mai (UTC+8), selon le monitoring de Dongcha Beating, ByteDance Research a officiellement open source le modèle multimodal unifié natif Lance. Il s'agit d'un modèle léger avec seulement 3 milliards de paramètres d'activation, qui supporte simultanément la compréhension, la génération et l'édition d'images et de vidéos dans un cadre unique.
Actuellement, les modèles unifiés grand public dépendent fortement de l'augmentation de la taille des paramètres ou de l'utilisation de l'architecture de génération de texte-image, tandis que Lance a adopté une approche collaborative avec une puissance de calcul très faible.
L'équipe de développement a entraîné le modèle entièrement à partir de zéro, en réduisant le budget total de calcul de tout le cycle d'entraînement à 128 GPU A100.
Pour résoudre les conflits internes entre différentes modalités et tâches, Lance a introduit deux isolations strictes dans son architecture :

• Utilisation d'une architecture de spécialistes hybrides à double flux (MoE) pour traiter des séquences multimodales imbriquées, en partageant le contexte de bas niveau tout en déliant les chemins de calcul de compréhension et de génération.
• Introduction d'un codage de position rotatif sensible à la modalité, qui atténue directement le signal d'interférence entre les tokens visuels hétérogènes d'images et de vidéos.
  Une compression extrême de la puissance de calcul n'a pas réduit la limite de performance.
  Avec seulement 3 milliards de paramètres d'activation, Lance domine la plupart des benchmarks pour la génération et l'édition d'images et de vidéos, surpassant les modèles unifiés open source existants, et a prouvé qu'il est possible de concilier génération et compréhension sémantique à faible coût grâce à une collaboration multi-tâches avec peu de paramètres.
  (Source : BlockBeats)