PrismML lança Bonsai 27B: um modelo de IA de 3,9 GB é executado no iPhone
A PrismML lançou o Bonsai 27B mais cedo esta semana: um modelo de IA com 27 mil milhões de parâmetros comprimido para 3,9 GB que funciona num iPhone 17 Pro Max a 11 tokens por segundo. A variante ternária retém 94,6% do desempenho em benchmarks de precisão total, ao mesmo tempo que cabe nas limitações de memória de um smartphone, assinalando a primeira vez que um modelo neste nível de capacidade ultrapassa o orçamento de memória de um dispositivo de consumo. O método de compressão, desenvolvido
NVDA-0,63%
GateAiHorizon·07-15 20:03
