¡Entrenamiento desde cero con 128 tarjetas A100! ByteOpenSource lanza el modelo multimodal versátil 3B Lance

NOTICIAS de ME News, 19 de mayo (UTC+8), según Beating de Monitoreo de Dongcha, ByteDance Research ha lanzado oficialmente el modelo multimodal unificado nativo Lance como código abierto. Este es un modelo ligero con solo 3 mil millones de parámetros de activación, que soporta simultáneamente la comprensión, generación y edición de imágenes y videos en un solo marco. Actualmente, los modelos unificados principales dependen en gran medida de ampliar la escala de parámetros o de usar arquitecturas de generación de texto a imagen, mientras que Lance ha optado por una ruta de colaboración con muy bajo poder de cálculo. El equipo de desarrollo entrenó el modelo completamente desde cero, reduciendo el presupuesto total de cálculo durante todo el ciclo de entrenamiento a 128 GPU A100. Para resolver los conflictos internos entre diferentes modalidades y tareas, Lance implementó dos aislamientos estrictos en su arquitectura: - Utiliza una arquitectura de expertos híbridos de doble flujo (MoE) para procesar secuencias multimodales entrelazadas, compartiendo el contexto subyacente mientras desacopla las rutas de cálculo de comprensión y generación. - Introduce codificación de posición rotatoria sensible a la modalidad, que directamente reduce la interferencia de señal entre los tokens visuales heterogéneos de imagen y video. La compresión extrema de cálculo no ha reducido el límite de rendimiento. Con solo 3 mil millones de parámetros de activación, Lance lidera en la mayoría de las pruebas de referencia en generación y edición de imágenes y videos, y ha demostrado una ruta de bajo costo que equilibra generación y comprensión semántica mediante colaboración en múltiples tareas con pocos parámetros. (Fuente: BlockBeats)
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado