De acordo com o monitoramento Beating, a Sakana AI em parceria com a Nvidia open-sourçou um formato de dados esparso chamado TwELL e um núcleo de aceleração compatível, permitindo que a GPU ignore cálculos inúteis cujo resultado é próximo de zero ao executar grandes modelos. Essa solução, sem comprometer a precisão do modelo, aumenta a velocidade de inferência do H100 em até 30%, acelera o treinamento em até 24% e reduz significativamente o uso de memória de pico.
As camadas feedforward (FFN) de grandes modelos consomem a maior parte dos parâmetros e do poder de cálculo. Mas, na prática, mais de 80% dos neurônios estão em "estado de repouso" (valores de ativação próximos de zero) a cada geração de texto, sem contribuir para o resultado final. Se for possível pular esses neurônios, será possível economizar uma quantidade enorme de poder de cálculo.
No entanto, os GPUs modernos são naturalmente bons apenas para cálculos de matrizes densas e uniformes. Se usarmos métodos tradicionais para identificar dados dispersos úteis, o custo de procurar e ler esses dados muitas vezes anula as economias de cálculo obtidas.
O formato TwELL foi criado justamente para quebrar essa limitação de hardware. Ele foi projetado de acordo com a lógica de paralelismo do GPU: não montar dados não zero de forma regional, como os métodos tradicionais, mas dividir os dados em pequenos blocos (tiles) que o GPU manipula melhor. Assim, os núcleos de cálculo do GPU podem empacotar localmente os dados úteis, eliminando completamente o tempo gasto na leitura e escrita global de memória, integrando-se perfeitamente à linha de produção de aceleração de chips modernos.
Nos testes com um modelo de 1,5 bilhão de parâmetros, com uma leve regularização durante o treinamento, a proporção de neurônios realmente necessários caiu para menos de 2%, sem prejuízo no desempenho de sete tarefas downstream.
Os dados também revelaram uma regra: quanto maior o número de parâmetros do modelo, maior a quantidade de neurônios em repouso (a proporção de não zero em um modelo de 2 bilhões de parâmetros é 38% menor do que em um de 500 milhões).
Isso significa que, no futuro, ao buscar modelos de maior escala, essa otimização voltada para o hardware subjacente poderá oferecer ganhos de desempenho ainda mais significativos.

Ver original

Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.

Recompensa
curtir
Comentário
Repostar
Compartilhar

Comentário

Adicionar um comentário

Sem comentários

Tendências
Ver projetos
#
SKHynixTopsKOSPIByMarketCap
1,53M Popularidade
#
MicronEarningsBeatExpectationsSharesRise
37,25K Popularidade
#
IsraelStrikesIranBTCPlunges
63,44K Popularidade
#
WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷
331,67K Popularidade
#
USMayPCEInflationRisesTo4.1%HighestIn3Years
522,9K Popularidade

Fixado

sitemap

Sakana AI se une à Nvidia: faz com que a GPU ignore 80% dos cálculos inúteis de grandes modelos, acelerando a inferência do H100 em 30%

Tendências

SKHynixTopsKOSPIByMarketCap

MicronEarningsBeatExpectationsSharesRise

IsraelStrikesIranBTCPlunges

WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷

USMayPCEInflationRisesTo4.1%HighestIn3Years

Fixado