Калтех випустив відкриту модель True 1-Bit Model Bonsai: 8 мільярдів параметрів за всього 1,15 ГБ, досягаючи 44 токени/с на iPhone

Згідно з 1M AI News, AI-лабораторія PrismML, співзасновником якої є математик з Caltech Бабак Хассиби, вийшла з режиму прихованості та випустила відкриту серію великих мовних моделей 1-bit Bonsai. Флагманська модель, 1-bit Bonsai 8B, має 8,2 мільярда параметрів і займає лише 1,15 ГБ пам’яті, що приблизно в 14 разів більше стиснуто, ніж порівнянні 16-бітні моделі (близько 16 ГБ). Ваги доступні для завантаження за ліцензією Apache 2.0 на HuggingFace разом із двома меншими моделями: 4B (0,5 ГБ) і 1,7B (0,24 ГБ). Bonsai 8B — справжня end-to-end 1-біт модель: шар вбудовувань, attention-шар, шар MLP і output head усі відображають ваги лише як +1 або -1, без будь-яких високоточних патчів. PrismML стверджує, що його можливості для інференсу та розуміння мови на стандартних бенчмарках є порівнюваними з можливостями 16-бітних моделей повної точності. Основна математика стиснення була розроблена командою протягом кількох років у Caltech, а інтелектуальна власність належить Caltech, тож PrismML є єдиним ексклюзивним ліцензіатом. Модель навчали з використанням Google v4 TPU. Виміряні швидкості включають 136 токенів/с на M4 Pro Mac, 440 токенів/с на RTX 4090 і приблизно 44 токени/с на iPhone 17 Pro Max, тоді як стандартні 16-бітні моделі 8B не можна завантажити на жоден iPhone. Споживання енергії зменшено приблизно у 4-5 разів порівняно з 16-бітними моделями. PrismML зазначає, що наявне обладнання не призначене для інференсу 1-біт, і переваги зі швидкості та енергії переважно зумовлені зменшеним використанням пам’яті; якщо в майбутньому з’явиться спеціально спроєктоване обладнання для 1-біт операцій (потрібні лише додавання та віднімання, без множення), ефективність може зрости на порядок. PrismML завершила фінансування раунду SAFE та seed на $16,25 млн, серед інвесторів — Khosla Ventures, Cerberus Capital і Caltech. Вінод Кхосла, засновник Khosla Ventures, заявив, що це «не незначна ітерація, а суттєвий технологічний прорив, математичний прорив, а не просто чергова невелика модель».