Звіт з CoinWorld, Sakana AI у співпраці з NVIDIA відкрили вихідний код для формату розріджених даних під назвою twell та відповідного прискорювального ядра, успішно дозволяючи GPU при роботі з великими моделями пропускати ті «результати, близькі до нуля», що є неефективними обчисленнями. Це рішення без втрати точності моделі дозволяє підвищити швидкість обробки H100 до 30%, прискорити тренування до 24% та значно зекономити пікову відеопам’ять. Дані також виявили закономірність: чим більше параметрів у моделі, тим більше нейронів у стані сплячки (незначний відсоток ненульових значень у моделі з 2 мільярдами параметрів на 38% нижчий, ніж у модель з 500 мільйонами). Це означає, що у майбутньому, при прагненні до ще більших масштабів великих моделей, ця оптимізація для апаратного забезпечення відкриє ще більш значні можливості для підвищення продуктивності.