Berita dari Jiemian Wang, Sakana AI bekerja sama dengan Nvidia merilis format data jarang bernama twell dan kernel akselerasi pendukungnya secara open source, berhasil membuat GPU saat menjalankan model besar, melewati perhitungan yang "hasilnya mendekati nol" dan tidak efektif. Solusi ini, tanpa mengorbankan akurasi model, meningkatkan kecepatan inferensi H100 hingga 30%, percepatan pelatihan hingga 24%, dan secara signifikan menghemat memori puncak. Data juga mengungkapkan sebuah pola: semakin besar jumlah parameter model, semakin banyak neuron yang tidur (rasio non-zero dari model 2 miliar parameter lebih rendah 38% dibandingkan model 500 juta). Ini berarti, dalam upaya ke depan untuk model besar yang lebih besar, optimisasi ini yang ditujukan untuk perangkat keras dasar akan memberikan manfaat kinerja yang lebih besar.