Раньше считалось, что крупные модели на стороне клиента — это шутка, сейчас 1,75 ГБ уже не смешно.

Посмотреть Оригинал
MeNews
PrismML выпустила модель 1.58-бит Ternary Bonsai, уменьшив параметры в 9 раз, что превзошло аналогичные по интеллектуальности
PrismML 发布 Ternary Bonsai 系列,采用 1.58 比特权重 {-1,0,+1},显存仅为 16 位模型的九分之一。
8B/4B/1.7B 三种规模已在 Hugging Face 开源,并原生跑在 Apple 设备。
8B 权重约 1.75 GB,基准分 75.5,领先同类。
iPhone 17 Pro Max 上 8B 速率 27 tok/s,能效比提升 3–4 倍。
权重以 Apache 2.0 分发,通过 MLX 框架在 Apple 设备原生运行。
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено