Повідомлення з Coin World: PrismML повідомляє, що вони стиснули відкриту модель Alibaba Qwen3.6-27B до приблизно 4GB і успішно запустили її на iPhone 17 Pro. Qwen3.6-27B — це щільна модель із 27 мільярдами параметрів, під час інференсу всі параметри беруть участь. PrismML стверджує, що розмір моделі зменшили з приблизно 54GB до менш ніж 4GB, і продуктивність суттєво не знизилась; вона підходить для складних діалогів, інференсу, agent і задач із кодом. Крім того, PrismML офіційно відкрила вихідний код Bonsai 27B: мобільна версія — приблизно 3.9GB, комп’ютерна — приблизно 5.9GB; у мобільній версії збережено приблизно 90% можливостей оригінальної моделі, у комп’ютерній — приблизно 95%.

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 2
  • 1
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
MemeBarista
· 6год тому
iPhone 17 Pro ще не вийшов, хіба ні? Ця шкала часу для цієї новини якась дивна, але те, що на мобільному пристрої можна запускати 27B — це справді круто.
Переглянути оригіналвідповісти на0
CapitalCommittee
· 6год тому
Ця ступінь стиснення трохи переборна: 54G стиснули до 4G, і це ще можна запускати на телефоні. Технологічний стек PrismML варто глибше вивчити.
Переглянути оригіналвідповісти на0
  • Закріплено