Após seis meses de ausência, o especialista em distribuição, Lin Haibin, retorna à equipe Seed da ByteDance

robot
Geração do resumo em andamento
ME AI Mensagem, de acordo com o monitoramento de Beating, o responsável pelo treinamento do grande modelo original da ByteDance, Lin Haibin, retornou oficialmente à equipe Seed, continuando a coordenar o desenvolvimento da base de treinamento distribuído. Lin Haibin deixou a empresa em dezembro do ano passado para se juntar ao SSI (Safe Superintelligence), uma empresa de inteligência superinteligente fundada pelo ex-chefe de ciência da OpenAI, Ilya Sutskever, e antes disso, passou menos de seis meses fora. Como especialista em IA, Lin Haibin é mestre pela Universidade Carnegie Mellon (CMU), sob a orientação do renomado especialista em bancos de dados Andy Pavlo, e liderou o desenvolvimento do framework de treinamento de reforço veRL de código aberto e do sistema de treinamento distribuído MegaScale, de nível de dezenas de milhares de GPUs. O retorno rápido de Lin reflete as mudanças na direção do fluxo de talentos de alto nível em grandes modelos entre China e EUA. Antes de ingressar na equipe AML (Aplicação de Aprendizado de Máquina) da ByteDance em 2020, Lin trabalhou na Amazon AWS, participando do desenvolvimento do framework MXNet. Durante seu tempo na ByteDance, liderou o desenvolvimento do sistema de treinamento de recomendação com GPU e da biblioteca de comunicação coletiva ByteCCL, além de liderar uma equipe para resolver o desafio de coordenação de mais de dez mil GPUs paralelamente, aprimorando o sistema de treinamento MegaScale. Atualmente, a quantidade diária de chamadas ao grande modelo Doubao está em alta, e a pesquisa em multimodalidade e agentes inteligentes exige alta estabilidade do cluster de treinamento. A familiaridade de Lin com todo o sistema técnico da ByteDance permite suportar diretamente a iteração do sistema de treinamento distribuído de baixo nível. Além disso, o framework de treinamento de reforço veRL, liderado por Lin e de código aberto, foi adotado pelo Qianwen Tongyi da Alibaba e pelo Laboratório de IA de Xangai. As regras de retorno de funcionários da ByteDance indicam que funcionários que deixam a empresa há mais de 3 meses e sem registros de violação podem solicitar readmissão, mantendo o nível e salário se a saída for inferior a 1 ano. A volta de Lin à ByteDance responde às recentes medidas de incentivo ao núcleo da equipe de grandes modelos. A ByteDance abriu para os funcionários do departamento Seed uma opção de compra de ações especiais chamada "Doubao Stock", com preço de 13 dólares por ação. Atualmente, a disputa por talentos em grandes modelos evoluiu para uma competição abrangente de "opções + autonomia + poder computacional". Anteriormente, cerca de 70 membros do laboratório Seed migraram para outros fabricantes de grandes modelos, e a ByteDance tenta reverter a perda de pessoal por meio de um design especial de ações. (Fonte: BlockBeats)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 6
  • 2
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
TidalShellReflection
· 13h atrás
Lin Haibin tem um currículo impressionante, AWS + OpenAI + ByteDance, o veRL também foi adotado pela Alibaba e por laboratórios, o retorno de talentos mostra que a ByteDance realmente oferece bastante.
Ver originalResponder0
GateUser-1859b7cd
· 13h atrás
MegaScale até veRL e depois o refluxo, a batalha por talentos entre grandes empresas é mais acirrada do que a evolução dos modelos
Ver originalResponder0
GateUser-a68e8203
· 13h atrás
veRL foi adotado pela Alibaba, o que mostra que a tecnologia é realmente sólida, e a ByteDance está lucrando bastante com essa jogada
Ver originalResponder0
YieldTuningFork
· 13h atrás
De volta da OpenAI para a ByteDance, e depois saindo da ByteDance e voltando novamente, essa movimentação de talentos é interessante
Ver originalResponder0
SushiStopLoss
· 13h atrás
Coordenação da infraestrutura de treinamento distribuído, esta posição determina diretamente o teto de eficiência do treinamento de grandes modelos
Ver originalResponder0
ArbiterOfFees
· 13h atrás
Precificação de opções de 13 dólares do Doubao, isso realmente atrai pessoas de verdade, a base de treinamento distribuída é fundamental.
Ver originalResponder0