pmarca يشارك معلومات حول نموذج مكون من 3.3 مليار معلمة تم تدريبه على نصوص تاريخية

أخبار ME، 3 أبريل (بتوقيت UTC+8)، مؤخرًا، شارك شخصية معروفة pmarca على وسائل التواصل الاجتماعي معلومة حول التدريب المسبق للنموذج. وفقًا للمحتوى الذي شاركه، فإن مجموعة بيانات التدريب المسبق للنموذج استخدمت كتب وصحف من الولايات المتحدة والمملكة المتحدة تعود إلى قبل 1 يناير 1900 من مصادر Huggingface و Internet Archive. بعد تصفية كبيرة، تم تجميع حوالي 2.2 مليار رمز في مجموعة بيانات التدريب. وذكر المقال أن أفضل نقطة تحقق للنموذج هي نموذج يحتوي على 3.3 مليار معلمة. وأشار pmarca إلى أنه منذ 1 ديسمبر 2022، وهو يتطلع دائمًا إلى مثل هذه الأمور. (المصدر: InFoQ)