Раніше вважав, що крайові великі моделі — це жарт, тепер 1,75 ГБ вже не смішно

Переглянути оригінал
MeNews
PrismML випустила модель 1.58 біт Ternary Bonsai, зменшення параметрів у 9 разів, що перевищує інтелектуальні можливості аналогів
PrismML випустила серію Ternary Bonsai, яка використовує ваги 1.58 біта {-1,0,+1}, обсяг відеопам’яті становить лише одну дев’яту від моделі з 16-бітною пам’яттю. Три масштаби 8B/4B/1.7B вже відкриті на Hugging Face і працюють нативно на пристроях Apple. Ваги 8B приблизно 1,75 ГБ, базовий бал 75,5, випереджаючи однокласників. На iPhone 17 Pro Max швидкість 8B становить 27 токенів/с, коефіцієнт енергоефективності підвищено в 3–4 рази. Ваги поширюються за ліцензією Apache 2.0 і працюють нативно на пристроях Apple через фреймворк MLX.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено