Andrej Karpathy опубликовал llm.c: небольшой проект в одном файле, который обучает модель уровня GPT-2 с нуля. Настоящий AI-альфа, скорее всего, не заключается в том, чтобы просто следовать за названием следующей модели, а в том, чтобы самостоятельно пройти весь цикл минимальной модели. Тот, кто поймёт, как веса обучаются шаг за шагом, в будущем быстрее разберётся с агентами, инструментами и вычислительными возможностями, чем те, кто просто заучивает релиз-ноты.