Menjalankan model besar secara lokal akhirnya tidak perlu lagi bergantung pada cloud, kompresi 5 kali lipat tetap menjaga kualitas, TurboQuant yang open source ini benar-benar memberi semangat pengembang perangkat edge.

Lihat Asli
MarsBitNews
Tether membuka sumber TurboQuant, cache KV perangkat AI lokal dengan rasio kompresi tertinggi hingga 5 kali
Tether AI mengumumkan open source versi produksi TurboQuant dan mengintegrasikannya ke dalam SDK QVAC 0.12.0. TurboQuant didasarkan pada algoritma kompresi memori dari Google Research, cache KV runtime AI dapat dikompresi hingga 5 kali lipat, kualitas output mendekati tanpa kompresi. Teknologi ini memungkinkan laptop, ponsel, dan perangkat edge untuk memproses percakapan yang lebih panjang dan file yang lebih besar tanpa cloud. Rilis ini mencakup jalur pipeline kuantifikasi lengkap, adaptor kerangka inferensi, dan dokumentasi pengembangan, ditujukan untuk pengembang dan tim startup di perangkat konsumen, perangkat edge, dan jaringan peer-to-peer.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan