Después de seis meses de ausencia, regresa a Byte, el experto en distribución, Lin Haibin, vuelve al equipo Seed de Byte

robot
Generación de resúmenes en curso
ME AI Mensaje, según la monitorización de Beating, el responsable original del entrenamiento del gran modelo de ByteDance, Lin Haibin, ha regresado oficialmente al equipo Seed, para continuar coordinando el desarrollo de la base de entrenamiento distribuido. Lin Haibin dejó la empresa en diciembre pasado para unirse a SSI (Safe Superintelligence), la compañía de inteligencia superinteligente fundada por el ex científico jefe de OpenAI, Ilya Sutskever, y antes de eso, en menos de medio año, regresó. Como experto en IA, Lin Haibin es un graduado de la Universidad Carnegie Mellon (CMU), bajo la tutela del famoso experto en bases de datos Andy Pavlo, y lideró el desarrollo abierto del marco de entrenamiento de aprendizaje reforzado veRL y del sistema de entrenamiento distribuido a nivel de vanka MegaScale. La rápida reincorporación de Lin refleja cambios en la dirección del flujo de talentos de modelos de gran escala entre China y EE. UU. En 2020, antes de unirse al equipo AML (Aprendizaje Automático de Aplicaciones) de ByteDance, Lin participó en el desarrollo del marco MXNet en Amazon AWS. Durante su tiempo en ByteDance, lideró el desarrollo del sistema de entrenamiento de recomendación con GPU y la biblioteca de comunicación colectiva ByteCCL, y dirigió un equipo para resolver problemas de colaboración paralela con más de diez mil GPUs, perfeccionando así el sistema de entrenamiento MegaScale. Actualmente, la cantidad diaria de llamadas al gran modelo Doubao se mantiene en niveles altos, y la investigación en multimodalidad e inteligencia artificial requiere una alta estabilidad en el clúster de entrenamiento. La familiaridad previa de Lin con todo el sistema técnico de ByteDance le permite apoyar directamente la iteración del sistema de entrenamiento distribuido de nivel inferior. Además, el marco de entrenamiento de aprendizaje reforzado de código abierto veRL, liderado por Lin, ha sido adoptado por Alibaba Tongyi Qianwen y el Laboratorio de IA de Shanghai. La política de retorno de personal de ByteDance indica que los empleados que hayan dejado la empresa por más de 3 meses y sin registros de incumplimiento pueden solicitar reincorporarse, manteniendo su nivel y salario si la separación fue menor a un año. La reincorporación de Lin a ByteDance responde a las recientes medidas de incentivo para el equipo central de modelos de gran escala. ByteDance ha abierto a los empleados del departamento Seed la opción de compra de acciones especiales llamadas "Doubao Stocks" a un precio de 13 dólares por acción. Actualmente, la competencia por talento en modelos de gran escala se ha convertido en una lucha integral de "opciones + autonomía + potencia computacional". Anteriormente, alrededor de 70 miembros del laboratorio Seed se habían ido a otros fabricantes de modelos de gran escala, y ByteDance intenta revertir la fuga de talentos mediante un diseño especial de acciones. (Fuente: BlockBeats)
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • 6
  • 2
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
TidalShellReflection
· hace12h
La experiencia de Lin Haibin es impresionante, AWS + OpenAI + ByteDance, veRL también es utilizado por Alibaba y laboratorios, el retorno de talento indica que ByteDance realmente ofrece mucho.
Ver originalResponder0
GateUser-1859b7cd
· hace12h
MegaScale hasta veRL y luego el flujo de regreso, la guerra por el talento entre grandes empresas es más intensa que la iteración de modelos
Ver originalResponder0
GateUser-a68e8203
· hace12h
veRL fue adoptado por Alibaba, lo que demuestra que la tecnología es realmente sólida, ByteDance esta ganando mucho con esta jugada
Ver originalResponder0
YieldTuningFork
· hace12h
De OpenAI a ByteDance, luego de ByteDance fuera y de regreso, este flujo de talento es interesante
Ver originalResponder0
SushiStopLoss
· hace12h
Coordinar la infraestructura de entrenamiento distribuido, este puesto determina directamente el techo de eficiencia en el entrenamiento de modelos grandes
Ver originalResponder0
ArbiterOfFees
· hace12h
Precio de opción de Doubao a 13 dólares, esto realmente atrae a las personas, la base de entrenamiento distribuido es fundamental.
Ver originalResponder0