Meituan LongCat-2.0 secara bersamaan membuka kode inferensi untuk kartu grafis domestik.

robot
Pembuatan abstrak sedang berlangsung
Laporan Jinse Finance, 9 Juli – Sebagai model pertama di industri yang menyelesaikan inferensi pada klaster komputasi nasional dengan 50 ribu kartu, LongCat-2.0 dengan parameter 1 triliun telah sepenuhnya dirilis sebagai open-source. Menargetkan chip komputasi nasional yang terbatas pada memori dan bandwidth, kami melakukan optimalisasi kolaboratif mendalam mulai dari arsitektur model, adaptasi chip, hingga strategi penempatan, sehingga model 1 triliun parameter berjalan stabil dan cepat bahkan pada kartu yang sudah ada. Rilis open-source LongCat-2.0 merupakan pengungkapan jalur teknis sekaligus undangan ekosistem. Rilis open-source ini juga menyediakan versi multi-presisi seperti BF16, FP8, dan INT8, yang sepenuhnya mencakup kebutuhan penempatan berbagai platform komputasi. Bersamaan dengan itu, kami merangkul komunitas open-source secara mendalam dengan merilis hasil inferensi yang dioptimalkan secara ekstrem untuk komputasi nasional. Ini berarti, meskipun tidak memiliki komputasi terbaru, LongCat-2.0 dapat berjalan stabil berdasarkan perangkat keras yang ada. Kami berharap melalui tumpukan inferensi siap pakai ini, lebih banyak kartu nasional, termasuk kartu lama, dapat dengan lancar menempatkan layanan inferensi model 1 triliun parameter, memberikan nilai lebih besar dalam skenario produktivitas nyata.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan