Это можно считать холодным душем для сообщества открытого исходного кода: открытие весов ≠ открытие возможностей, а разрыв в данных становится еще труднее преодолеть.

Команда NLP Стэнфордского университета в Twitter заявила, что текущие открытые данные для обучения агентов в основном используются на этапе дообучения, особенно для моделей вроде Qwen. Эти модели, возможно, уже были обучены на большом объеме данных агентов. Они считают, что объем данных агентов, необходимый для обучения отличных открытых моделей с нуля, значительно превышает масштаб дообучения только на открытых весах, что подчеркивает недостаточность данных агентов на этапе предварительного обучения. Источник: InFoQ