vkhosla представляет модель 1-bit Bonsai 8B, занимающую всего 1,15 ГБ памяти

robot
Генерация тезисов в процессе

Сообщение ME News: 1 апреля (UTC+8). Недавно автор vkhosla в социальных сетях рассказал о модели 1-bit Bonsai 8B — 1-битной модели весов. Согласно его описанию, потребление памяти у этой модели составляет всего 1.15 GB, а ее «интеллектуальная плотность» (intelligence density), как утверждается, превышает более чем в 10 раз соответствующую по полной точности модель. В статье отмечается, что на граничном (edge) оборудовании объем модели уменьшен в 14 раз, скорость повышена в 8 раз, а энергоэффективность увеличена в 5 раз; при этом по сравнению с другими моделями она остается конкурентоспособной. В сообщении также говорится, что эта модель обладает лучшей сжимаемостью, более высокой скоростью, меньшим объемом и большей энергоэффективностью по сравнению с моделью, о которой Google объявила днем ранее. В исходном тексте не приведены конкретные бенчмарки производительности модели, издатель (кто выпустил), детали технической реализации или результаты полного оценивания. (Источник: InFoQ)

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить