Это заключение Стэнфорда довольно болезненно: открытые веса — это только начало, барьеры данных — это настоящая рентабельность.

Команда NLP Стэнфордского университета в Twitter заявила, что текущие открытые данные для обучения агентов в основном используются на этапе дообучения, особенно для моделей вроде Qwen. Эти модели, возможно, уже были обучены на большом объеме данных агентов. Они считают, что объем данных агентов, необходимый для обучения отличной открытой модели с нуля, значительно превышает масштаб, необходимый для дообучения только на открытых весах, что подчеркивает недостаточность данных агентов на этапе предварительного обучения. Источник: InFoQ