Sakana AI a décomposé le goulot d'étranglement de la mémoire vidéo des modèles profonds, permettant d'entraîner de grands réseaux avec seulement 1/B de mémoire, et les expériences surpassent même l'approche de bout en bout.

Lors de l'ICLR 2026, Sakana AI et l'Université de Tokyo ont proposé DiffusionBlocks, qui divise le réseau en blocs et mappe la mise à jour des blocs à la débruitisation inverse d'un modèle de diffusion, réalisant un entraînement indépendant au niveau des blocs. Pendant l'entraînement, seul un bloc est chargé, les autres blocs n'occupent pas de mémoire GPU, la mémoire GPU est réduite à 1/B de l'original, dépassant le goulot d'étranglement de mémoire dû à la profondeur. Les expériences montrent que dans les tâches de génération d'images avec Transformer visuel, DiT et génération de texte, l'entraînement par blocs peut égaler voire surpasser l'entraînement end-to-end ; pour le Looped Transformer, une mise à jour unidirectionnelle en avant peut également être utilisée, réduisant considérablement le calcul d'entraînement.