Калтех выпустил открытый исходный код модели True 1-Bit Model Bonsai: 8 миллиардов параметров всего за 1,15 ГБ, достигая 44 токенов/с на iPhone

Согласно 1M AI News, AI-лаборатория PrismML, сооснователем которой является математик из Caltech Бабак Хасиби, вышла из режима скрытности и выпустила с открытым исходным кодом серию крупномасштабных языковых моделей 1-bit Bonsai. Флагманская модель, 1-bit Bonsai 8B, имеет 8,2 миллиарда параметров и занимает всего 1,15 ГБ памяти, что примерно в 14 раз более сжато, чем сопоставимые модели в 16-битном формате (около 16 ГБ). Веса доступны для скачивания по лицензии Apache 2.0 на HuggingFace, а также вместе с двумя более компактными моделями: 4B (0,5 ГБ) и 1,7B (0,24 ГБ). Bonsai 8B — это истинная сквозная (end-to-end) модель 1-bit: слой встраивания, слой внимания, слой MLP и выходная голова (output head) представляют веса, используя только +1 или -1, без каких-либо высокоточных исправлений (patches). PrismML утверждает, что его возможности по инференсу и пониманию языка на стандартных бенчмарках сопоставимы с возможностями 16-битных моделей полного точного формата (full-precision). Основная математика сжатия была разработана командой в течение нескольких лет в Caltech; интеллектуальная собственность принадлежит Caltech, что делает PrismML единственным эксклюзивным лицензиатом. Модель была обучена с использованием Google v4 TPU. Измеренные скорости включают 136 токенов/с на M4 Pro Mac, 440 токенов/с на RTX 4090 и примерно 44 токена/с на iPhone 17 Pro Max, при этом стандартные 16-битные модели 8B не могут быть загружены ни на какой iPhone. Энергопотребление снижено примерно в 4-5 раз по сравнению с 16-битными моделями. PrismML отмечает, что существующее аппаратное обеспечение не рассчитано на инференс в 1-bit, а преимущества по скорости и энергии в первую очередь обусловлены снижением объема используемой памяти; если в будущем появится специально разработанное под 1-bit оборудование (требующее только сложение и вычитание, без умножения), эффективность может вырасти на порядок. PrismML завершила раунд финансирования SAFE и seed на $16.25 миллиона, при этом инвесторы включают Khosla Ventures, Cerberus Capital и Caltech. Винод Кхосла, основатель Khosla Ventures, заявил, что это «не незначительная итерация, а значительный технологический прорыв, математический прорыв, а не просто очередная небольшая модель».