pmarca berbagi informasi tentang model dengan 3,3 miliar parameter yang dilatih berdasarkan teks sejarah

Berita ME, pesan 3 April (UTC+8), baru-baru ini, tokoh terkenal pmarca membagikan informasi tentang prapemrosesan model di media sosial. Berdasarkan isi yang dibagikannya, korpus pralatih model tersebut menggunakan buku dan surat kabar Amerika serta Inggris dari Huggingface dan Internet Archive, yang berasal sebelum 1 Januari 1900. Setelah penyaringan dalam jumlah besar, sekitar 22 miliar token disusun menjadi korpus pelatihan. Dalam artikel tersebut disebutkan bahwa titik pemeriksaan terbaik model ini adalah model berparameter 3,3 miliar. pmarca menyatakan bahwa sejak 1 Desember 2022, ia telah menantikan hal-hal seperti ini. (Sumber: InFoQ)