27B model padat dimasukkan ke dalam saku, rasio kompresi ini agak keterlaluan, Apple akhirnya tidak bisa tinggal diam?

Berita Bikun, PrismML menyatakan bahwa mereka telah mengompres model open-source dari Alibaba, Qwen3.6-27B, hingga sekitar 4 GB dan berhasil menjalankannya di iPhone 17 Pro. Qwen3.6-27B adalah model padat dengan 27 miliar parameter, di mana semua parameter berpartisipasi dalam komputasi saat inferensi, bukan model MOE yang hanya mengaktifkan sebagian parameter. PrismML menyebutkan bahwa ukuran model dikompres dari sekitar 54 GB menjadi kurang dari 4 GB, tanpa penurunan kinerja yang signifikan, dan cocok untuk percakapan kompleks, penalaran, agen, dan tugas kode. Apple telah menghubungi PrismML untuk mendiskusikan bagaimana menerapkan teknologi ini ke perangkat mereka, meskipun Siri tingkat lanjut masih bergantung pada model cloud.