PrismML выпускает Bonsai 27B — первую ИИ-модель на 27B, сжатую до 3,9 ГБ для iPhone
По данным PrismML, компания выпустила Bonsai 27B — ИИ-модель с 27 миллиардами параметров, сжатую до 3,9 ГБ — на этой неделе раньше. Её достаточно, чтобы запускать на iPhone 17 Pro Max со скоростью 11 токенов в секунду. Вариант с тернарным кодированием сохраняет 94,6% производительности бенчмарков при полной точности и обходит стандартные сборки Qwen с низким битрейтом: они почти вдвое больше, но при этом «проваливаются» на задачах по математике и программированию. Вариант с бинарным кодированием
GateNews·07-15 20:02
