ME News Новини, 17 квітня (UTC+8), згідно з моніторингом Датчі Beating, PrismML випустила мовну модель серії Ternary Bonsai, яка за допомогою технології 1.58 біт (ternary weights) зменшує обсяг пам’яті моделі до однієї дев’ятої від 16-бітної моделі при збереженні високої продуктивності. Ця серія включає три розміри параметрів: 8B, 4B і 1.7B, вже відкрито доступна на Hugging Face та підтримує нативне запуск на пристроях Apple.
Так звана модель 1.58 біт означає обмеження ваг нейронної мережі трьома значеннями {-1, 0, +1}. У порівнянні з попередніми моделями з максимальною компресією 1 біт (ваги лише {-1, +1}), введення значення «0» дозволяє ефективно видалити зайві з’єднання, що дозволяє зберегти складну здатність до логічних висновків навіть при дуже малому обсязі.
Випущений файл ваг моделі Ternary Bonsai 8B має всього 1,75 ГБ, а її базовий тестовий бал досягає 75,5, що на 5 балів вище за власну 1-бітову версію, а також значно перевищує показники подібних щільних моделей, таких як Qwen3, у «інтелектуальній щільності» (продуктивність на один ГБ відеопам’яті).
Енергоефективність і швидкість роботи є ще одними ключовими перевагами цієї серії. На iPhone 17 Pro Max швидкість роботи версії 8B досягає 27 токенів/с, а коефіцієнт енергоефективності зростає приблизно у 3-4 рази. Це означає, що для розробників, які прагнуть розгортати високопродуктивний ШІ на мобільних телефонах, ноутбуках та інших пристроях, можна досягти майже повної точності моделі за дуже малий об’єм пам’яті.
Зараз модель Ternary Bonsai вже підтримується нативно на пристроях Apple через фреймворк MLX. Ваги моделі розповсюджуються за ліцензією Apache 2.0.
(Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

7 лайків

Нагородити
7
7
7
Поділіться

Прокоментувати

Додати коментар

RouterRunner

· 1год тому

75.5 балів переважає однокласників, але наскільки гірше у порівнянні з повною точністю? Чи є експерименти з абляцією для перевірки?