Thông báo từ CoinWorld, Sakana AI hợp tác với Nvidia đã mở nguồn định dạng dữ liệu thưa tên là twell cùng với nhân tăng tốc đi kèm, thành công giúp GPU khi chạy các mô hình lớn bỏ qua những phép tính "gần như bằng không" không hiệu quả. Giải pháp này mà không làm giảm độ chính xác của mô hình, giúp tốc độ suy luận của H100 tăng tối đa 30%, tốc độ huấn luyện tối đa 24%, và tiết kiệm đáng kể bộ nhớ đỉnh. Dữ liệu còn tiết lộ một quy luật: càng nhiều tham số của mô hình, các neuron ngủ càng nhiều (tỷ lệ không-zero của mô hình 2 tỷ tham số thấp hơn 38% so với mô hình 500 triệu tham số). Điều này có nghĩa là, trong tương lai khi theo đuổi các mô hình quy mô lớn hơn, tối ưu hóa này dành cho phần cứng nền sẽ mang lại lợi ích hiệu năng đáng kể hơn.