PrismML lance Bonsai 27B : un modèle d’IA de 3,9 Go fonctionne sur iPhone
PrismML a publié Bonsai 27B plus tôt cette semaine : un modèle d'IA de 27 milliards de paramètres compressé à 3,9 Go qui tourne sur un iPhone 17 Pro Max à 11 tokens par seconde. La variante ternaire conserve 94,6 % des performances des tests de référence en pleine précision, tout en tenant dans les contraintes de mémoire d'un smartphone. C'est la première fois qu'un modèle de ce niveau de capacité dépasse le budget mémoire d'un appareil grand public. La méthode de compression, construite sur une
NVDA3,46%
OliverGrant·07-15 20:03
