Sakana AI kali ini mengatasi hambatan memori GPU dari model kedalaman, hanya dengan 1/B memori GPU bisa melatih jaringan besar, eksperimen bahkan mengalahkan end-to-end

Pada ICLR 2026, Sakana AI dan Universitas Tokyo mengusulkan DiffusionBlocks, yang membagi jaringan menjadi blok dan memetakan pembaruan blok sebagai denoising terbalik dari model difusi, memungkinkan pelatihan tingkat blok secara independen. Saat pelatihan, hanya satu blok yang dimuat, blok lain tidak memakan memori GPU, mengurangi penggunaan memori hingga 1/B dari sebelumnya, melampaui batas memori yang disebabkan oleh kedalaman jaringan. Eksperimen menunjukkan bahwa dalam tugas Transformer visual, pembuatan gambar DiT, dan pembuatan teks, pelatihan berbasis blok dapat menyamai bahkan melampaui pelatihan end-to-end; untuk Looped Transformer juga dapat menggunakan pembaruan maju satu arah, secara signifikan mengurangi perhitungan pelatihan.