Tether AI mengumumkan akan mengintegrasikan TurboQuant sumber terbuka dalam SDK QVAC 0.12.0. TurboQuant awalnya dikembangkan oleh Google Research dan dapat mengompresi memori KV Cache yang diperlukan selama proses menjalankan model besar hingga 5 kali lipat, sehingga mendukung konteks yang lebih panjang, dokumen yang lebih besar, dan percakapan yang lebih lama dijalankan di perangkat lokal. Tether menyatakan bahwa teknologi ini akan berlaku untuk laptop, ponsel, perangkat edge, dan jaringan AI terdesentralisasi, serta sebagai bagian dari strategi mereka untuk mendorong AI yang bersifat lokal dan terdesentralisasi.

Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan