Ingeniero de semillas de ByteDance anterior: la iteración de ByteDance dura medio año, se rumorea que Google solo necesita tres meses

Según la monitorización de Beating, el ingeniero del equipo Seed de ByteDance, Zhang Chi, actualmente profesor asistente en la Universidad de Pekín, reveló en el podcast “Into Asia” que a ByteDance le toma aproximadamente medio año completar un ciclo de entrenamiento de un gran modelo (preentrenamiento más entrenamiento posterior), mientras que se rumorea que Google solo necesita tres meses. Él considera que la velocidad de iteración es una de las razones principales por las que las empresas chinas tienen dificultades para ponerse al día. Zhang Chi estuvo en ByteDance aproximadamente un año, y su equipo de matemáticas tiene un enfoque más investigativo, él mismo afirmó que la función principal de ese grupo es “más para propaganda”, diferente del equipo responsable de la entrega del modelo, que se encarga del preentrenamiento y entrenamiento posterior.

Zhang Chi describió la cultura interna de Seed de “benchmaxxing” (puntuación en benchmarks): los líderes del equipo evalúan el rendimiento según los benchmarks responsables, y todos están compitiendo por mejorar sus puntuaciones, “pero esto no se traduce en una buena experiencia en uso real”. Él dijo que en papel, los modelos de las grandes empresas chinas pueden igualar a los modelos de vanguardia en Estados Unidos, pero en la práctica “no son lo suficientemente buenos”. El objetivo de Seed es ser de clase mundial, “pero lamentablemente, no creo que lo hayamos alcanzado”, incluso el objetivo de ser el primero en China “tampoco se ha logrado”. A finales de 2024, Seed se considera que ha igualado a GPT-4o, y posteriormente se lanzó DeepSeek, el equipo se dio cuenta de que la brecha aún existía, y cuando él se unió, todo el grupo estaba en una transición urgente hacia el aprendizaje por refuerzo.