O CTO da Meta confirmou que, ao longo do último ano, Zuckerberg teve de regressar ao “modo de fundador” (founder mode). Ele também admira bastante Alexandr Wang, que se juntou à equipa da Meta no ano passado.

Para construir o seu modelo mais recente, a Meta fez uma viragem estratégica urgente: realocou temporariamente milhares de funcionários, suspendeu as suas funções originais e passou a gerar os chamados “expert traces” — ou seja, exemplos de programação de alta qualidade guiados manualmente, usados para o pós-treino (post-training) do modelo.
Isto prova ainda mais que o verdadeiro gargalo dos modelos de grandes dimensões de ponta já não é apenas o poder computacional bruto, mas sim dados de aprendizagem por reforço de alta fidelidade, validados por humanos.