PrismML выпустила модель 1.58-бит Ternary Bonsai, параметры сокращены в 9 раз, интеллектуальность превосходит аналогичные модели

robot
Генерация тезисов в процессе
ME Новости, 17 апреля (UTC+8), по данным мониторинга 动察 Beating, PrismML выпустила языковую модель серии Ternary Bonsai, которая с помощью технологии 1.58 бита (ternary weights) сокращает объем памяти модели до одной девятой от 16-битной модели, сохраняя при этом высокую производительность. Эта серия включает модели с параметрами 8B, 4B и 1.7B, уже открыта на Hugging Face и поддерживает нативное выполнение на устройствах Apple.
Так называемая модель с 1.58 битами означает, что веса нейронной сети ограничены тремя значениями {-1, 0, +1}. По сравнению с ранее стремившейся к максимальному сжатию моделью с 1 битом (веса только {-1, +1}), введение значения «0» позволяет эффективно исключать избыточные связи, что позволяет модели сохранять сложные способности рассуждения при очень небольшом объеме.
Общий размер файла весов Ternary Bonsai 8B составляет всего 1,75 ГБ, а средний балл по базовым тестам достигает 75,5, что на 5 баллов выше, чем у их собственной версии с 1 битом, и значительно превосходит такие плотные модели, как Qwen3, по показателю «умной плотности» (производительность на ГБ видеопамяти).
Энергоэффективность и скорость работы — еще одни ключевые преимущества этой серии. На iPhone 17 Pro Max версия 8B достигает скорости 27 токенов в секунду, что повышает коэффициент энергоэффективности примерно в 3-4 раза. Для разработчиков, которым нужно развертывать высокопроизводительный ИИ на мобильных устройствах, ноутбуках и других периферийных устройствах, это означает возможность получать почти полную точность модели при минимальных затратах памяти.
В настоящее время модели Ternary Bonsai уже поддерживаются нативно на устройствах Apple через фреймворк MLX. Веса модели распространяются по лицензии Apache 2.0.
(Источник: BlockBeats)
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • 8
  • 5
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
SushiSlippage
· 10ч назад
{-1,0,+1} напоминает мне о BinaryNet тех лет, но на этот раз, похоже, действительно сработало
Посмотреть ОригиналОтветить0
HexiHoodie
· 10ч назад
Коэффициент энергоэффективности увеличился в 3-4 раза, что означает, что автономность больше не будет терять 50% заряда за полчаса.
Посмотреть ОригиналОтветить0
MevInRetrospect
· 10ч назад
Apache 2.0 открытое программное обеспечение с хорошими отзывами, это настоящее открытое ПО, в отличие от некоторых, которые устраивают шумиху
Посмотреть ОригиналОтветить0
TheClarityAfterLiquidating
· 10ч назад
27 ток/с на телефоне — быстрее, чем мой ноутбук с 7B в те времена, эпоха меняется
Посмотреть ОригиналОтветить0
0XNightRun
· 10ч назад
Поддержка нативного MLX очень важна, пользователи экосистемы Apple ликуют, больше не нужно возиться с конвертацией
Посмотреть ОригиналОтветить0
PaperSculptureOctopusPosition
· 10ч назад
Ternary Bonsai это имя довольно интересно, трехзначный вес действительно является изящным дизайном уровня миниатюрного сада
Посмотреть ОригиналОтветить0
AutumnSlopeCabin
· 10ч назад
Одна девятая видеопамяти? Раньше даже не смел подумать, а теперь iPhone может запускать большие модели локально.
Посмотреть ОригиналОтветить0
RedTelephoneBoothRuins
· 10ч назад
1.75GB запускает модель на 8B, такой уровень сжатия просто невероятен, мобильный ИИ наконец-то стал доступен
Посмотреть ОригиналОтветить0
  • Закреплено