vkhosla представляє 1-бітову модель Bonsai 8B, яка займає всього 1,15 ГБ пам’яті

robot
Генерація анотацій у процесі

Новини ME, повідомлення від 1 квітня (UTC+8): нещодавно автор vkhosla у соціальних мережах представив модель 1-bit Bonsai 8B — модель із 1-бітними вагами. Згідно з його описом, використання пам’яті в цій моделі становить лише 1.15 GB, а її інтелектуальна щільність (intelligence density), як стверджується, перевищує відповідну повноградусну (full precision) модель більш ніж у 10 разів. У статті зазначено, що на граничному (edge) обладнанні обсяг цієї моделі зменшився у 14 разів, швидкість зросла у 8 разів, а енергоефективність підвищилася у 5 разів; при цьому порівняно з іншими моделями вона все ще зберігає конкурентоспроможність. Повідомлення також згадує, що ця модель має кращу стисливість, швидше працює, має менший обсяг і вищу енергоефективність, ніж модель, оголошена Google напередодні. Оригінал не надає конкретних бенчмарків порівняння продуктивності моделі, даних про релізера, деталей технічної реалізації чи повних результатів оцінювання. (Джерело: InFoQ)

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріпити