¡Entrenamiento desde cero con 128 tarjetas A100! ByteDance lanza el modelo multimodal versátil de 3 mil millones de parámetros de código abierto Lance

robot
Generación de resúmenes en curso
NOTICIAS de ME News, 19 de mayo (UTC+8), según Beating de Monitoreo de Dongcha, ByteDance Research ha lanzado oficialmente en código abierto el modelo multimodal unificado nativo Lance. Este es un modelo liviano con solo 3 mil millones de parámetros de activación, que soporta simultáneamente en un solo marco la comprensión, generación y edición de imágenes y videos. Actualmente, los modelos unificados principales dependen en gran medida de ampliar la escala de parámetros o de usar arquitecturas de generación de texto a imagen, mientras que Lance ha optado por una ruta de colaboración con muy bajo poder de cálculo. El equipo de desarrollo entrenó el modelo completamente desde cero, reduciendo el presupuesto total de cálculo durante todo el ciclo de entrenamiento a 128 GPU A100. Para resolver los conflictos internos entre diferentes modalidades y tareas, Lance implementó dos aislamientos estrictos en su arquitectura: - Utiliza una arquitectura de expertos híbridos de doble flujo (MoE) para procesar secuencias multimodales entrelazadas, compartiendo el contexto subyacente mientras desacopla las rutas de cálculo de comprensión y generación. - Introduce codificación de posición rotatoria sensible a la modalidad, que directamente reduce la interferencia de señal entre los tokens visuales heterogéneos de imagen y video. La compresión extrema de cálculo no ha reducido el límite de rendimiento. Con solo 3 mil millones de parámetros de activación, Lance lidera en la mayoría de las pruebas de referencia en generación y edición de imágenes y videos, superando a los modelos unificados de código abierto existentes, y ha demostrado una ruta de bajo costo que equilibra generación y comprensión semántica mediante colaboración en múltiples tareas. (Fuente: BlockBeats)
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado