Intelligence Concentrée : la nouvelle famille de modèles Bonsai AI permet une IA haute performance au-delà du centre de données

En bref

PrismML est sorti de l’ombre et a lancé Bonsai, un tout petit modèle d’IA open source qui affiche une intelligence solide compte tenu de sa taille et qui peut tourner sur du matériel grand public.

PrismML, un laboratoire de recherche en IA basé en Californie, a dévoilé une nouvelle famille de modèles Bonsai 1-bit conçus pour fournir une intelligence avancée directement aux appareils sur lesquels les gens vivent et travaillent, plutôt que de confiner l’IA à de grands centres de données

Née des travaux de recherche menés au Caltech, PrismML affirme que son travail vise à maximiser la « densité d’intelligence », une mesure de la capacité utile qu’un modèle peut délivrer par unité de taille et d’empreinte de déploiement. Cette approche contraste avec le développement d’IA traditionnel, qui met généralement l’accent sur l’augmentation de la taille des modèles et du nombre de paramètres au détriment de la déployabilité et de l’efficacité.

Le modèle phare du laboratoire, 1-bit Bonsai 8B, présente une conception entièrement 1-bit sur tous les composants, y compris les embeddings, les couches d’attention, les couches MLP et la tête de sortie, sans couches de repli à une précision supérieure. Avec 1,15 Go, le modèle est environ 14 fois plus petit que des modèles 16-bit comparables de la même classe de paramètres, mais PrismML indique qu’il conserve des performances compétitives sur des benchmarks standard. La taille réduite permet le déploiement sur des appareils tels que les iPhones, iPads et Mac, ainsi que sur des GPU standard, offrant une inférence plus rapide et une utilisation mémoire plus faible que les modèles traditionnels à grande échelle.

PrismML souligne que la percée ne concerne pas uniquement les performances, mais aussi l’endroit où l’IA peut fonctionner. Des modèles plus petits et efficaces permettent des applications à plus faible latence, améliorent la confidentialité grâce au calcul sur l’appareil, et conservent des fonctionnalités en environnements hors ligne ou à bande passante limitée

Les applications potentielles incluent des agents persistants sur l’appareil, la robotique en temps réel, des copilotes en entreprise et des outils natifs de l’IA conçus pour des contextes sécurisés ou limités en ressources. PrismML soutient que l’intelligence concentrée élargit l’espace de conception pour l’IA, rendant les systèmes plus réactifs, fiables et largement déployables.

Déploiement de Bonsai : des modèles 1-Bit plus petits étendent l’efficacité et l’intelligence aux appareils en périphérie

En plus de Bonsai 8B, PrismML a introduit des modèles plus petits, 1-bit Bonsai 4B et 1.7B, qui étendent les mêmes principes d’efficacité et de densité d’intelligence à des tailles de modèles réduites. Les démonstrations initiales montrent un débit élevé, une efficacité énergétique et une précision sur les benchmarks concurrentielle à travers la famille. Le laboratoire a également noté que les modèles tournent efficacement sur le matériel commercial actuel et que les futurs appareils optimisés pour l’inférence 1-bit pourraient apporter des gains d’efficacité encore plus importants.

La publication de PrismML représente un changement plus large dans le développement de l’IA, en mettant l’accent sur l’intelligence concentrée et la portabilité plutôt que sur la seule échelle. Le laboratoire envisage un futur dans lequel une IA avancée fonctionne de manière transparente à la fois sur des appareils cloud et en périphérie, rendant les systèmes intelligents accessibles partout où ils sont nécessaires. Les modèles Bonsai 1-bit sont disponibles sous la licence Apache 2.0, ce qui permet le déploiement sur les appareils Apple, les GPU NVIDIA et une gamme d’autres plateformes.