Sakana AI desta vez quebrou o gargalo de memória de vídeo dos modelos profundos, treinando grandes redes com apenas 1/B de memória, e os experimentos ainda superaram o método de ponta a ponta

Na ICLR 2026, Sakana AI e a Universidade de Tóquio propuseram o DiffusionBlocks, que divide a rede em blocos e mapeia a atualização dos blocos como a denoising reverso de um modelo de difusão, permitindo o treinamento independente de blocos. Durante o treinamento, apenas um bloco é carregado, enquanto os outros blocos não ocupam memória de vídeo, reduzindo o uso de memória para 1/B do original, superando o gargalo de memória causado pela profundidade. Experimentos mostram que, em tarefas de geração de imagens com Transformer visual, DiT e geração de texto, o treinamento por blocos pode igualar ou até superar o treinamento end-to-end; para o Looped Transformer, também é possível usar uma atualização unidirecional, reduzindo significativamente o cálculo de treinamento.