سكانا AI قامت بكسر عنق الزجاجة في ذاكرة الفيديو للنماذج العميقة، يمكنها تدريب شبكات كبيرة باستخدام 1/8 من ذاكرة الفيديو، والتجارب تتفوق حتى على النهج من النهاية إلى النهاية

في ICLR 2026، اقترحت Sakana AI وجامعة طوكيو DiffusionBlocks، التي تقسم الشبكة إلى أجزاء وتحوّل تحديثات الأجزاء إلى استعادة الضوضاء العكسي لنموذج الانتشار، مما يحقق تدريبًا مستقلًا على مستوى الأجزاء. أثناء التدريب، يتم تحميل جزء واحد فقط، ولا يتم تحميل باقي الأجزاء في الذاكرة، مما يقلل استهلاك الذاكرة إلى 1/B من الأصل، متجاوزًا قيود الذاكرة الناتجة عن العمق. أظهرت التجارب أن التدريب على الأجزاء في مهام Transformer البصري، وتوليد الصور باستخدام DiT، وتوليد النصوص يمكن أن ينافس أو يتفوق على التدريب الشامل؛ كما يمكن استخدام تحديث أحادي الاتجاه لـ Looped Transformer، مما يقلل بشكل كبير من حسابات التدريب.