ME News Новини, 17 квітня (UTC+8), згідно з моніторингом Датчі Beating, PrismML випустила мовну модель серії Ternary Bonsai, яка за допомогою технології 1.58 біт (ternary weights) зменшує обсяг пам’яті моделі до однієї дев’ятої від 16-бітної моделі, зберігаючи при цьому високі показники продуктивності. Ця серія включає три розміри параметрів: 8B, 4B і 1.7B, і вже відкрито доступна на Hugging Face з підтримкою нативного запуску на пристроях Apple.
Так звана модель 1.58 біт означає обмеження ваг нейронної мережі до трьох значень {-1, 0, +1}. У порівнянні з попередніми моделями з максимальною компресією 1 біт (ваги лише {-1, +1}), введення значення «0» дозволяє ефективно видалити зайві з’єднання, що дозволяє зберегти складну здатність до логічних висновків навіть при дуже малому обсязі.
Випущений файл ваг Ternary Bonsai 8B має всього 1,75 ГБ, а його базовий тестовий бал становить 75,5, що на 5 балів вище за власну 1-бітову версію, а також значно перевищує показники подібних щільних моделей, таких як Qwen3, у «інтелектуальній щільності» (продуктивність на один ГБ відеопам’яті).
Енергоефективність і швидкість роботи є ще одними ключовими перевагами цієї серії. На iPhone 17 Pro Max швидкість роботи версії 8B досягає 27 токенів за секунду, а коефіцієнт енергоефективності зростає приблизно у 3-4 рази. Це означає, що для розробників, які прагнуть запускати високопродуктивний AI на мобільних пристроях, таких як смартфони і ноутбуки, можна досягти майже повної точності моделі за мінімальних витрат пам’яті.
Зараз модель Ternary Bonsai вже підтримується нативно на пристроях Apple через фреймворк MLX. Ваги моделі розповсюджуються за ліцензією Apache 2.0.
(Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

7 лайків

Нагородити
7
9
10
Поділіться

Прокоментувати

Додати коментар

OldKeyboardTraitor

· 8год тому

Використання трьохзначної ваги насправді значно складніше, ніж двозначна, оскільки наявність 0 дозволяє більш гнучко зберігати інформацію, і цей крок у PrismML був обраний правильно.