Andrej Karpathy publicó llm.c: un pequeño proyecto de un solo archivo, entrenando un modelo del nivel GPT-2 desde cero. Es muy probable que la verdadera IA alfa no sea simplemente seguir el próximo nombre de modelo, sino ejecutar manualmente el ciclo completo del modelo en su forma más mínima. Aquellos que entienden cómo se entrenan paso a paso los pesos, en el futuro tendrán una ventaja en oportunidades de agentes, herramientas y computación, mucho antes que los que solo memorizan las notas de lanzamiento.