PrismML випускає Bonsai 27B — першу модель ШІ на 27B, стиснуту до 3,9 ГБ для iPhone
За даними PrismML, компанія випустила Bonsai 27B — модель ШІ з 27 млрд параметрів, стиснуту до 3,9 ГБ — раніше цього тижня; вона достатньо компактна, щоб працювати на iPhone 17 Pro Max зі швидкістю 11 токенів за секунду. Трійкова версія зберігає 94,6% продуктивності бенчмарків із повною точністю, випереджаючи звичайні low-bit збірки Qwen, які майже удвічі більші та “провалюються” на задачах із математики й програмування. Двійкова версія досягає 1,125 біта на вагу, квантизуючи параметри моделі до
GateNews·07-15 20:02
