PrismML выпустила модель 1.58-бит Ternary Bonsai, уменьшив параметры в 9 раз, что превзошло аналогичные по интеллектуальности

robot
Генерация тезисов в процессе
ME Новости, 17 апреля (UTC+8), по данным мониторинга 动察 Beating, PrismML выпустила языковую модель серии Ternary Bonsai, использующую технологию 1.58 бита (ternary weights), которая при сохранении высокой производительности сокращает объем видеопамяти модели до одной девятой от модели с 16 битами. Эта серия включает модели с параметрами 8B, 4B и 1.7B, уже открыта на Hugging Face и поддерживает нативное выполнение на устройствах Apple.
Так называемая модель с 1.58 битами означает ограничение весов нейронной сети тремя значениями {-1, 0, +1}. По сравнению с ранее стремившейся к экстремальному сжатию моделью с 1 битом (веса только {-1, +1}), введение значения «0» позволяет эффективно исключить избыточные связи, сохраняя при этом сложные вычислительные способности модели при очень небольшом объеме.
Общий размер файла весов Ternary Bonsai 8B составляет всего 1,75 ГБ, а средний балл по базовым тестам достигает 75,5, что на 5 баллов выше, чем у собственной версии с 1 битом, и значительно превосходит такие плотные модели, как Qwen3, по показателю «умной плотности» (производительность на ГБ видеопамяти).
Энергоэффективность и скорость работы — еще одни ключевые преимущества этой серии. На iPhone 17 Pro Max версия 8B достигает скорости 27 токенов в секунду, повышая коэффициент энергоэффективности примерно в 3-4 раза. Это означает, что разработчики, желающие развернуть высокопроизводительный ИИ на мобильных устройствах и ноутбуках, могут добиться почти полной точности модели, затрачивая минимальную память.
В настоящее время модель Ternary Bonsai уже поддерживается нативно на устройствах Apple через фреймворк MLX. Вес модели распространяется по лицензии Apache 2.0.
(Источник: BlockBeats)
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • 8
  • 12
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
GateUser-44dde53b
· 14ч назад
Эффективность увеличилась в 3-4 раза, благодаря этому у этого поколения iPhone нагрузка на аккумулятор станет меньше.
Посмотреть ОригиналОтветить0
Neon-LitStreetsAfterTheRain
· 14ч назад
Данные реальных тестов iPhone 17 Pro Max гораздо более впечатляющие, чем в презентации.
Посмотреть ОригиналОтветить0
NeonFusionIceCream
· 14ч назад
{-1,0,+1} трёхзначные веса, при максимально возможной квантовании всё ещё сохраняют 75.5 баллов, инженерные возможности позволяют
Посмотреть ОригиналОтветить0
TreatMemesAsBeliefs
· 14ч назад
Инструкция по адаптации фреймворка MLX: все глубже интеграция AI в экосистему Apple
Посмотреть ОригиналОтветить0
QuantizedDaydream
· 14ч назад
Высокая оценка лицензии Apache 2.0, только дружелюбие к бизнесу позволит расширяться
Посмотреть ОригиналОтветить0
HaiyanColdWallet
· 14ч назад
Hugging Face открыт исходный код, попробуйте на выходных версию 4B для проверки результата
Посмотреть ОригиналОтветить0
GlassBottleFeather
· 14ч назад
Apple-устройства нативно запускают модель 8B, скорость 27 ток/с — это уже пригодно для использования на мобильных устройствах
Посмотреть ОригиналОтветить0
NeonMint
· 14ч назад
1.58 бит слишком жестко, видеопамять сразу урезана до 1/9, я поражен этим сжатием
Посмотреть ОригиналОтветить0
  • Закреплено