Каліфорнійський технологічний інститут відкритого коду справжня модель 1-біт Bonsai: 8B параметрів всього 1,15 ГБ, працює на iPhone з швидкістю 44 токенів/с

Повідомлення з CoinWold. За даними моніторингу 1M AI News, AI-лабораторія PrismML, співзаснована математиком Каліфорнійського технологічного інституту Babak Hassibi, завершила період інкогніто та відкрила вихідний код серії 1-bit Bonsai великомасштабних мовних моделей. Флагманська модель 1-bit Bonsai 8B має 8,2 млрд параметрів; споживання пам’яті становить лише 1,15 ГБ, що приблизно в 14 разів менше, ніж у моделей того ж класу 16-bit (близько 16 ГБ). Ваги доступні для відкритого завантаження на HuggingFace за ліцензією Apache 2.0, а також оприлюднено дві менші моделі: 4B (0,5 ГБ) і 1,7B (0,24 ГБ). Bonsai 8B — це наскрізна справжня 1-bit модель: вбудовувальний шар, шари уваги, MLP-шар і вихідна голівка повністю представляють ваги лише як +1 або -1, без будь-яких високоточних патчів. PrismML стверджує, що його здатність до міркувань і розуміння мови на стандартних бенчмарках є на рівні 16-bit моделей повної точності. Ключова стискувальна математика була роками розроблена командою в Каліфорнійському технологічному інституті; інтелектуальна власність належить Caltech, а PrismML є єдиним ексклюзивним ліцензіатом. Модель тренували на Google v4 TPU. Фактична швидкість: на M4 Pro Mac — 136 tok/s, на RTX 4090 — 440 tok/s, на iPhone 17 Pro Max — близько 44 tok/s, тоді як стандартна 16-bit модель 8B не вміщується на жоден iPhone. Енергоспоживання знижено приблизно у 4–5 разів порівняно з 16-bit моделлю. PrismML зазначає, що наявне обладнання не створене спеціально для 1-bit виведення; переваги за швидкістю та енергоефективністю переважно походять від зменшення використання пам’яті. Якщо в майбутньому з’явиться обладнання, спеціально розроблене для 1-bit (де достатньо лише додавання й віднімання без множення), ефективність можна буде ще підвищити на один порядок. PrismML завершила раунд SAFE на 16,25 млн доларів США та посівний раунд фінансування; інвесторами виступили Khosla Ventures, Cerberus Capital та Каліфорнійський технологічний інститут. Вінод Косла, засновник Khosla Ventures, сказав, що це «не маленька ітерація, а вагомий технічний прорив, математичний прорив, і не просто ще одна невелика модель».