أخيرًا أطلقت شركة ByteDance نموذج اللغة المنتشرة، حيث تستخدم 23 مليار معلمة لإنتاج النصوص في الفضاء الكامن، وهو نهج جريء جدًا.

يعد Seed مفتوح المصدر من ByteDance وCola DLM، وهو نموذج يقوم بتوسيع النصوص على مستوى المعنى الكامن. يقوم Text VAE بتحويل النص إلى مساحة كامن مستمرة، ويتعلم DiT ذو السببية المعيقة عبر مطابقة التدفق من خلال تعلم prior الكامن، وأخيرًا يقوم المفسر الشرطي بإعادة بناء المتغيرات الكامنة إلى نص. إجمالي المعلمات حوالي 2.3 مليار (DiT 1.8 مليار، VAE 500 مليون). في 8 تقييمات، يتنافس ويحتل مراكز متقدمة مع خط الأساس AR/LLaDA من نفس الحجم، لكنه لا يزال نقطة تحقق بحثية، لم يتم تدريبه على أوامر دقيقة أو RLHF، ويحتوي المستودع الحالي فقط على خط أنابيب النص، ومن المتوقع أن يتوسع في المستقبل ليشمل النص-صورة.