1,7B/4B/8B três opções de faixa, cobertura total desde telemóveis até servidores

PrismML lança a série Ternary Bonsai, usando pesos de 1,58 bits {-1,0,+1}, com apenas um nono da memória de vídeo de um modelo de 16 bits.
As versões de 8B/4B/1,7B já estão disponíveis como código aberto no Hugging Face, rodando nativamente em dispositivos Apple.
O peso de 8B é aproximadamente 1,75 GB, com uma pontuação de referência de 75,5, liderando na categoria.
No iPhone 17 Pro Max, a taxa de 8B é de 27 tokens por segundo, com uma melhoria de eficiência energética de 3 a 4 vezes.
Os pesos são distribuídos sob a licença Apache 2.0, rodando nativamente em dispositivos Apple através do framework MLX.