Notícias do site Coinjie, Sakana AI em parceria com a Nvidia lançou de código aberto o formato de dados esparsos chamado twell e o núcleo de aceleração compatível, conseguindo fazer com que a GPU, ao executar grandes modelos, pule aqueles cálculos inúteis que "resultam quase zero".

Esta solução, sem comprometer a precisão do modelo, aumentou a velocidade de inferência do H100 em até 30%, acelerou o treinamento em até 24% e reduziu significativamente o uso de memória de pico.
Os dados também revelam uma regra: quanto maior o número de parâmetros do modelo, mais neurônios em repouso há (a proporção de não zero em um modelo de 2 bilhões de parâmetros é 38% menor do que em um modelo de 500 milhões).
Isso significa que, no futuro, ao buscar modelos de maior escala, essa otimização para hardware de baixo nível proporcionará ganhos de desempenho ainda mais expressivos.