ME News Новини, 17 квітня (UTC+8), згідно з моніторингом Датчі Beating, PrismML випустила мовну модель серії Ternary Bonsai, яка за допомогою технології 1.58 біт (ternary weights) зменшує обсяг пам’яті моделі до однієї дев’ятої від 16-бітної моделі, зберігаючи при цьому високі показники продуктивності. Ця серія включає три розміри параметрів: 8B, 4B і 1.7B, і вже відкрито доступна на Hugging Face, а також підтримує нативне запускання на пристроях Apple.
Так звана модель 1.58 біт означає обмеження ваг нейронної мережі до трьох значень {-1, 0, +1}. У порівнянні з попередніми моделями з максимальною компресією 1 біт (ваги лише {-1, +1}), введення значення «0» дозволяє ефективно видалити зайві з’єднання, що дозволяє зберегти складну здатність до логічних висновків навіть при дуже малому обсязі.
Опублікований файл ваг Ternary Bonsai 8B має всього 1,75 ГБ, а його базовий тестовий бал досягає 75,5, що на 5 балів вище за власну 1-бітову версію, а також значно перевищує показники подібних щільних моделей, таких як Qwen3, у «інтелектуальній щільності» (продуктивність на один ГБ відеопам’яті).
Енергоефективність і швидкість роботи є ще одними ключовими перевагами цієї серії. На iPhone 17 Pro Max швидкість роботи версії 8B досягає 27 токенів за секунду, а коефіцієнт енергоефективності зросла приблизно у 3-4 рази. Це означає, що для розробників, які прагнуть запускати високопродуктивний AI на мобільних пристроях або ноутбуках, можна досягти майже повної точності моделі за дуже малий об’єм пам’яті.
Зараз модель Ternary Bonsai вже підтримується нативно на пристроях Apple через фреймворк MLX. Ваги моделі розповсюджуються за ліцензією Apache 2.0.
(Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

7 лайків

Нагородити
7
8
12
Поділіться

Прокоментувати

Додати коментар

GateUser-44dde53b

· 13год тому

Ефективність підвищилася в 3-4 рази, тож навантаження на акумулятор цього покоління iPhone стане меншим.