SonicMoE mencapai throughput puncak pada GPU NVIDIA Blackwell.

robot
Pembuatan abstrak sedang berlangsung
ME News melaporkan, pada 23 April (UTC+8), SonicMoE mengumumkan bahwa kini telah mencapai throughput puncak pada GPU NVIDIA Blackwell. Menurut data yang disediakan, kinerja TFLOPS untuk forward propagation dan backward propagation model ini masing-masing 54% dan 35% lebih tinggi dibandingkan tolok ukur DeepGEMM, dan kinerja TFLOPS forward propagation 21% lebih tinggi dibandingkan contoh resmi triton. Sementara itu, SonicMoE tetap mempertahankan penggunaan memori aktivasi yang minimal, sama dengan model padat. (Sumber: InFoQ)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar