Mensaje de CoinWorld, Sakana AI en colaboración con Nvidia ha abierto el formato de datos dispersos llamado twell y su núcleo de aceleración complementario, logrando que la GPU, al ejecutar modelos grandes, omita aquellos cálculos "casi nulos".

Este esquema, sin perder precisión en el modelo, aumenta la velocidad de inferencia del H100 hasta en un 30%, acelera el entrenamiento en un 24% y ahorra significativamente la memoria de pico.
Los datos también revelan una regla: cuanto mayor es la cantidad de parámetros del modelo, más neuronas en modo de descanso hay (la proporción de no ceros en un modelo de 2 mil millones de parámetros es un 38% menor que en un modelo de 500 millones).
Esto significa que, en el futuro, al buscar modelos de mayor escala, esta optimización para hardware subyacente liberará beneficios de rendimiento aún más considerables.