Sakana AI une-se à Nvidia: faz com que a GPU ignore 80% dos cálculos inúteis de grandes modelos, acelerando a inferência do H100 em 30%

Segundo o monitoramento Beating, a Sakana AI em colaboração com a Nvidia open-sourceram o formato de dados esparso chamado TwELL e o núcleo de aceleração compatível, conseguindo fazer com que a GPU, ao executar grandes modelos, pule aqueles cálculos inúteis cujo resultado é próximo de zero. Esta solução, sem comprometer a precisão do modelo, aumenta até 30% a velocidade de inferência do H100, acelera o treinamento em até 24% e reduz significativamente o uso de memória de pico.
As camadas de feedforward (FFN) dos grandes modelos consomem a maior parte dos parâmetros e do poder de cálculo. Mas, na prática, mais de 80% dos neurônios estão em “estado de repouso” (valores de ativação próximos de zero) a cada geração de texto, sem contribuir para o resultado final. Se for possível pular esses neurônios, será possível economizar uma quantidade enorme de poder de cálculo.
No entanto, os GPUs modernos são naturalmente especializados em cálculos de matrizes densas e uniformes. Se usarmos métodos tradicionais para identificar dados úteis dispersos, o custo de busca e leitura desses dados acabará consumindo toda a economia de cálculo obtida.
O formato TwELL foi criado justamente para quebrar essa limitação de hardware. Ele foi projetado de acordo com a lógica de paralelismo do GPU: não mais montar dados não zero de forma fragmentada, como na abordagem tradicional, mas dividir os dados em pequenos blocos (tiles) que o GPU manipula melhor. Assim, os núcleos de cálculo do GPU podem empacotar localmente os dados úteis, eliminando completamente o tempo gasto na leitura e escrita global na memória, integrando-se perfeitamente na linha de produção de aceleração dos chips modernos.
Nos testes com um modelo de 1,5 bilhão de parâmetros, com uma leve regularização durante o treinamento, foi possível reduzir a proporção de neurônios realmente necessários para menos de 2%, sem perda de desempenho em sete tarefas downstream.
Os dados também revelaram uma regra: quanto maior o número de parâmetros do modelo, maior a quantidade de neurônios em repouso (a proporção de não zero em um modelo de 2 bilhões de parâmetros é 38% menor do que em um de 500 milhões).
Isso significa que, no futuro, ao buscar modelos de maior escala, essa otimização voltada para o hardware subjacente poderá oferecer ganhos de desempenho ainda mais expressivos.