Sakana AI une-se à Nvidia: permite que a GPU ignore 80% dos cálculos inúteis de grandes modelos, acelerando a inferência H100 em 30%

De acordo com o monitoramento Beating, a Sakana AI em colaboração com a Nvidia lançou uma estrutura de dados esparsa chamada TwELL e um núcleo de aceleração compatível, que permite que a GPU ignore cálculos inúteis cujo resultado é próximo de zero ao executar grandes modelos. Essa solução, sem comprometer a precisão do modelo, aumenta a velocidade de inferência do H100 em até 30%, acelera o treinamento em até 24% e reduz significativamente o uso de memória de pico.

As camadas de feedforward (FFN) dos grandes modelos consomem a maior parte dos parâmetros e do poder de cálculo. Mas, na prática, mais de 80% dos neurônios estão em “estado de repouso” (valores de ativação próximos de zero) durante a geração de texto, sem contribuir para o resultado final. Se for possível pular esses neurônios, será possível economizar uma quantidade enorme de poder de cálculo. No entanto, os GPUs modernos são naturalmente especializados em cálculos de matrizes densas e uniformes; usar métodos tradicionais para identificar e extrair dados dispersos úteis, apenas a busca e leitura desses dados, já consome toda a economia de cálculo que se poderia obter.

O formato TwELL foi criado justamente para quebrar essa limitação de hardware. Ele foi projetado de acordo com a lógica de paralelismo do GPU: não mais juntar dados não nulos de diferentes regiões como na abordagem tradicional, mas dividir os dados em pequenos blocos (tiles) que o GPU manipula melhor. Assim, os núcleos de cálculo do GPU podem empacotar localmente os dados úteis, eliminando completamente o tempo gasto na leitura e escrita global na memória, integrando-se perfeitamente na linha de produção de aceleração dos chips modernos.

Nos testes com um modelo de 1,5 bilhão de parâmetros, com uma leve regularização durante o treinamento, a proporção de neurônios realmente necessários caiu para menos de 2%, sem prejuízo no desempenho de sete tarefas downstream. Os dados também revelaram uma regra: quanto maior o modelo, maior a quantidade de neurônios em repouso (a proporção de não nulos em um modelo de 2 bilhões de parâmetros é 38% menor do que em um de 500 milhões). Isso significa que, no futuro, ao buscar modelos de maior escala, essa otimização voltada para o hardware subjacente poderá oferecer ganhos de desempenho ainda mais expressivos.