Сообщение с сайта CoinWorld: Sakana AI совместно с NVIDIA открыли исходный код для разреженного формата данных под названием twell и сопутствующего ускоряющего ядра, успешно позволяющего GPU при работе с крупными моделями пропускать те «результаты, близкие к нулю», что делает вычисления неэффективными. Эта схема при сохранении точности модели позволяет увеличить скорость вывода H100 до 30%, ускорить обучение до 24%, а также значительно снизить пиковое использование видеопамяти. Данные также выявили закономерность: чем больше параметров у модели, тем больше нейронов находится в состоянии покоя (незначительный процент ненулевых значений у модели с 2 миллиардами параметров ниже на 38%, чем у модели с 500 миллионами). Это означает, что в будущем, при создании более крупных моделей, эта оптимизация для низкоуровневого аппаратного обеспечения принесет еще более значительные преимущества в производительности.