Engenheiro de Seed da ByteDance anterior: uma rodada de iteração da ByteDance leva seis meses, rumores do Google dizem que leva apenas três meses

De acordo com o monitoramento Beating, o engenheiro da equipe Seed da ByteDance, atualmente professor assistente na Universidade de Pequim, Zhang Chi, revelou no podcast “Into Asia” que a ByteDance leva cerca de meio ano para completar um ciclo de treinamento de um grande modelo (pré-treinamento mais pós-treinamento), enquanto rumores dizem que o Google leva apenas três meses. Ele acredita que a velocidade de iteração é uma das principais razões pelas quais as empresas chinesas têm dificuldade em acompanhar. Zhang Chi passou cerca de um ano na ByteDance, e sua equipe de matemática tem uma orientação mais de pesquisa, ele mesmo afirmou que o foco do grupo é “mais para propaganda”, diferente da equipe responsável pela entrega do modelo, que cuida do pré-treinamento e pós-treinamento.

Zhang Chi descreveu a cultura de benchmaxxing (pontuação de desempenho) dentro do Seed: os líderes da equipe avaliam o desempenho com base no benchmark responsável, todos estão focados em aumentar suas pontuações, “mas isso não se traduz em uma boa experiência na prática”. Ele disse que, no papel, os modelos das grandes empresas chinesas podem alcançar o mesmo nível dos modelos de ponta dos EUA, mas na prática “não são bons o suficiente”. O objetivo do Seed é ser um dos melhores do mundo, “mas, infelizmente, não acho que conseguimos alcançar isso”, mesmo o objetivo de ser o número um na China “não foi atingido”. No final de 2024, o Seed acredita ter alcançado o nível do GPT-4o, mas logo depois o DeepSeek foi lançado, e a equipe percebeu que a diferença ainda existia. Quando ele entrou, toda a equipe estava urgentemente mudando para o aprendizado por reforço.