PrismML menekan Qwen3.6 menjadi 4GB, model 27 miliar dimasukkan ke dalam iPhone

robot
Pembuatan abstrak sedang berlangsung

Berdasarkan pemantauan Beating, laboratorium AI PrismML yang didirikan bersama oleh matematikawan Caltech Babak Hassibi menyatakan bahwa mereka telah mengompres model open-source Alibaba Qwen3.6-27B dan menjalankannya di iPhone 17 Pro.

Qwen3.6-27B adalah model padat dengan 27 miliar parameter. Saat inferensi, semua parameter berpartisipasi, bukan model MoE yang hanya mengaktifkan sebagian parameter.

PrismML menyatakan bahwa ukuran model dikompres dari sekitar 54GB menjadi kurang dari 4GB, tanpa penurunan performa yang signifikan. Model ini dapat digunakan untuk dialog kompleks, penalaran, agen, dan tugas kode.

Apple telah menghubungi PrismML untuk mendiskusikan bagaimana menggunakan teknologi ini. Apple selalu ingin menempatkan lebih banyak AI di perangkat lokal, tetapi Siri tingkat lanjut masih bergantung pada model cloud.

AAPL0,92%
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan