ME News Новини, 17 квітня (UTC+8), згідно з моніторингом Датчі Beating, PrismML випустила мовну модель серії Ternary Bonsai, яка за допомогою технології 1.58 біт (ternary weights) зменшує обсяг пам’яті моделі до однієї дев’ятої від 16-бітної моделі, зберігаючи при цьому високі показники продуктивності. Ця серія включає три розміри параметрів: 8B, 4B і 1.7B, і вже відкритий код на Hugging Face, а також підтримує нативне запуск на пристроях Apple.
Так звана модель 1.58 біт означає обмеження ваг нейронної мережі до трьох значень {-1, 0, +1}. У порівнянні з попередніми моделями з максимальною компресією 1 біт (ваги лише {-1, +1}), введення значення «0» дозволяє ефективно видалити зайві з’єднання, що дозволяє зберегти складну здатність до логічних висновків навіть при дуже малому обсязі.
Випущений файл ваг Ternary Bonsai 8B має всього 1,75 ГБ, а його базові тести досягають середнього балу 75,5, що на 5 балів вище за власну 1-бітову версію, а також значно перевищує показники «енергоефективності» (продуктивність на ГБ відеопам’яті) у порівнянні з подібними щільними моделями, такими як Qwen3.
Енергоефективність та швидкість роботи є ще одними ключовими перевагами цієї серії. На iPhone 17 Pro Max швидкість роботи версії 8B досягає 27 токенів за секунду, а коефіцієнт енергоефективності зросла приблизно у 3-4 рази. Це означає, що для розробників, які прагнуть розгортати високопродуктивний AI на мобільних пристроях або ноутбуках, можна досягти майже повної точності моделі за мінімальних витрат пам’яті.
Зараз модель Ternary Bonsai вже підтримується нативно на пристроях Apple через фреймворк MLX. Ваги моделі розповсюджуються за ліцензією Apache 2.0.
(Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

10 лайків

Нагородити
10
8
5
Поділіться

Прокоментувати

Додати коментар

SushiSlippage

· 10год тому

{-1,0,+1} мені нагадує про ті часи BinaryNet, але цього разу здається, що воно справді спрацювало