Caltech open source le vrai modèle 1-bit Bonsai : 8B paramètres en seulement 1,15 Go, tournant à 44 tok/s sur iPhone

Actualités de CoinWang. D’après la surveillance de 1M AI News, le laboratoire d’IA PrismML, cofondé par Babak Hassibi, mathématicien du California Institute of Technology, sort de sa période d’invisibilité et ouvre le code source de la série de grands modèles de langage 1-bit Bonsai. Le modèle phare 1-bit Bonsai 8B compte 8,2 milliards de paramètres, n’utilise qu’environ 1,15 Go de mémoire et, par rapport aux modèles 16-bit du même niveau (environ 16 Go), il est compressé d’environ 14 fois. Les poids sont mis à disposition en téléchargement ouvert sur HuggingFace sous licence Apache 2.0, avec également deux modèles plus petits : 4B (0,5 Go) et 1,7B (0,24 Go). Bonsai 8B est un véritable modèle 1-bit de bout en bout : les couches d’embedding, d’attention, MLP et la tête de sortie ne représentent toutes les poids qu’avec +1 ou -1, sans aucun correctif haute précision. PrismML affirme que ses capacités de raisonnement sur des tests de référence standard et de compréhension du langage sont comparables à celles du modèle 16-bit à pleine précision. La compression mathématique au cœur du dispositif a été développée par l’équipe pendant plusieurs années au California Institute of Technology ; les droits de propriété intellectuelle appartiennent au California Institute of Technology, et PrismML est l’unique licencié exclusif. Le modèle est entraîné sur des TPU Google v4. Résultats en conditions réelles : 136 tok/s sur un M4 Pro, 440 tok/s sur un RTX 4090, et environ 44 tok/s sur un iPhone 17 Pro Max, tandis que le modèle 16-bit 8B standard ne peut être installé sur aucun iPhone. La consommation d’énergie est réduite d’environ 4 à 5 fois par rapport au modèle 16-bit. PrismML indique que le matériel existant n’a pas été conçu pour l’inférence 1-bit ; les avantages de vitesse et d’efficacité énergétique proviennent principalement de la réduction de l’empreinte mémoire. Si, à l’avenir, du matériel conçu spécifiquement pour le 1-bit apparaît (il suffit d’addition et de soustraction, sans multiplication), l’efficacité pourrait encore être améliorée d’un ordre de grandeur. PrismML a bouclé un financement SAFE et un tour de seed totalisant 16,25 millions de dollars ; les investisseurs sont Khosla Ventures, Cerberus Capital et le California Institute of Technology. Vinod Khosla, fondateur de Khosla Ventures, déclare que « ce n’est pas une petite itération : c’est une percée technique majeure, une percée mathématique, pas juste encore un petit modèle ».