PrismML выпустила модель 1.58-бит Ternary Bonsai, параметры сокращены в 9 раз, интеллектуальность превосходит аналогичные модели

robot
Генерация тезисов в процессе
ME Новости, 17 апреля (UTC+8), по данным мониторинга 动察 Beating, PrismML выпустила серию языковых моделей Ternary Bonsai, использующих технологию 1.58 бита (ternary weights), которая сокращает объем памяти модели до одной девятой от модели с 16 битами при сохранении высокой производительности. Эта серия включает модели с параметрами 8B, 4B и 1.7B, уже открыты на Hugging Face и поддерживают нативное выполнение на устройствах Apple.
Так называемая модель с 1.58 битами означает ограничение весов нейронной сети тремя значениями {-1, 0, +1}. По сравнению с ранее стремившейся к максимальному сжатию моделью с 1 битом (веса только {-1, +1}), введение значения «0» позволяет эффективно исключить избыточные связи, сохраняя при этом сложные вычислительные способности модели в очень небольшом объеме.
Опубликованный файл весов Ternary Bonsai 8B составляет всего 1,75 ГБ, а средний балл по базовым тестам достигает 75,5, что на 5 баллов выше, чем у собственной версии с 1 битом, и значительно превосходит такие модели, как Qwen3, по показателю «умной плотности» (производительность на ГБ видеопамяти).
Энергоэффективность и скорость работы — еще одни ключевые преимущества этой серии. На iPhone 17 Pro Max версия 8B достигает скорости 27 токенов/с, повышая коэффициент энергоэффективности примерно в 3-4 раза. Это означает, что разработчики, желающие развернуть высокопроизводительный ИИ на мобильных устройствах и ноутбуках, могут добиться почти полной точности модели, затрачивая минимальную память.
В настоящее время модели Ternary Bonsai уже нативно поддерживаются на устройствах Apple через фреймворк MLX. Весовые файлы модели распространяются по лицензии Apache 2.0.
(Источник: BlockBeats)
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • 9
  • 10
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
OldKeyboardTraitor
· 6ч назад
Взвешенная тройная квантование на самом деле гораздо сложнее двоичной, наличие нуля позволяет более гибко сохранять информацию, и этот шаг в PrismML выбран правильно
Посмотреть ОригиналОтветить0
BoredInBlockspace
· 6ч назад
1.75GB помещает 8B параметров, в будущем локальные LLM действительно станут нормой
Посмотреть ОригиналОтветить0
0xLateDiner
· 7ч назад
1.58 битовая весовая слишком жесткая, видеопамять сразу сокращена до девяти долей, этот коэффициент сжатия действительно впечатляет
Посмотреть ОригиналОтветить0
GateUser-0f33f9ef
· 7ч назад
{-1,0,+1} трёхзначное квантование, математическая элегантность и инженерия уже реализованы
Посмотреть ОригиналОтветить0
ProofOfSnack
· 7ч назад
Ternary Bonsai это название отлично подходит, три значения как обрезка бонсай, устранение излишков и упрощение
Посмотреть ОригиналОтветить0
BerryColdWallet
· 7ч назад
На iPhone запуск модели 8B 27 токенов/с? Пользователи Apple в восторге
Посмотреть ОригиналОтветить0
GateUser-e1cfc287
· 7ч назад
Коэффициент энергоэффективности увеличился в 3-4 раза, тревоги по поводу энергопотребления краевого ИИ решены
Посмотреть ОригиналОтветить0
L2Mailman
· 7ч назад
MLX нативная поддержка, еще один кусочек головоломки в экосистеме Apple
Посмотреть ОригиналОтветить0
FoldedCosmosCat
· 7ч назад
Открытый исходный код + Apache 2.0, эта волна PrismML открыла новые горизонты
Посмотреть ОригиналОтветить0
Подробнее
  • Закреплено