PrismML випускає Bonsai 27B: ШІ-модель обсягом 3,9 ГБ працює на iPhone
PrismML випустила Bonsai 27B раніше цього тижня — модель на 27 мільярдів параметрів, стиснуту до 3,9 ГБ, яка працює на iPhone 17 Pro Max зі швидкістю 11 токенів на секунду. Триарний варіант зберігає 94,6% продуктивності бенчмарків повної точності, уміщуючись у межі пам’яті смартфона, і це вперше, коли модель такого рівня можливостей пройшла крізь бюджет пам’яті споживчого пристрою. Метод стиснення, розроблений на основі інтелектуальної власності Caltech, зменшує кожну вагу моделі з 16 бітів до о
NVDA-0,10%
OliverGrant·07-15 20:03
