PrismML lance le modèle 1.58-bit Ternary Bonsai, réduction des paramètres par 9 fois, surpassant en intelligence les concurrents

robot
Création du résumé en cours
ME News Actualités, le 17 avril (UTC+8), selon le monitoring de Dongcha Beating, PrismML a publié la série de modèles linguistiques Ternary Bonsai, utilisant la technologie des poids ternaires à 1,58 bits, réduisant la consommation de mémoire du modèle à un neuvième de celle d’un modèle de 16 bits tout en maintenant de hautes performances.
Cette série comprend trois tailles de paramètres : 8 milliards, 4 milliards et 1,7 milliard, et est désormais open source sur Hugging Face, supportant nativement l’exécution sur appareils Apple.
Ce qu’on appelle le modèle à 1,58 bits, c’est que les poids du réseau neuronal sont limités à trois valeurs {-1, 0, +1}.
Comparé au modèle à 1 bit, qui privilégie une compression extrême avec des poids uniquement {-1, +1}, l’introduction de la valeur « 0 » permet d’éliminer efficacement les connexions redondantes, permettant au modèle de conserver une capacité de raisonnement complexe dans un volume très réduit.
Le fichier de poids 8B de Ternary Bonsai publié cette fois ne fait que 1,75 Go, avec une note moyenne de 75,5 en benchmark, ce qui dépasse de 5 points la version à 1 bit de leur propre modèle, et surpasse largement des modèles denses similaires comme Qwen3 en termes de « densité intelligente » (performance par Go de mémoire vidéo).
Le rapport efficacité énergétique et la vitesse d’exécution sont également des avantages clés de cette série.
Sur l’iPhone 17 Pro Max, la version 8B peut atteindre une vitesse de 27 tok/s, avec une amélioration de 3 à 4 fois du rapport efficacité énergétique.
Pour les développeurs souhaitant déployer une IA haute performance sur des appareils mobiles ou portables, cela signifie qu’ils peuvent obtenir une performance proche de celle d’un modèle complet avec une consommation mémoire très faible.
Actuellement, le modèle Ternary Bonsai est supporté nativement sur appareils Apple via le framework MLX.
Les poids du modèle sont distribués sous licence Apache 2.0.
(Source : BlockBeats)
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 9
  • 10
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
OldKeyboardTraitor
· Il y a 1h
La quantification en trois valeurs de poids est en réalité beaucoup plus difficile que la binarisation, l'existence de 0 permet de conserver l'information de manière plus flexible, cette étape de PrismML est bien choisie.
Voir l'originalRépondre0
BoredInBlockspace
· Il y a 1h
1.75GB pour contenir 8 milliards de paramètres, à l'avenir, les LLM locaux deviendront vraiment la norme
Voir l'originalRépondre0
0xLateDiner
· Il y a 1h
1.58 de poids de privilège est trop sévère, la mémoire vidéo est directement réduite à un neuvième, ce taux de compression est impressionnant
Voir l'originalRépondre0
GateUser-0f33f9ef
· Il y a 1h
{-1,0,+1} quantification à trois valeurs, l'élégance mathématique de l'ingénierie devient également concrète
Voir l'originalRépondre0
ProofOfSnack
· Il y a 1h
Ternary Bonsai, ce nom est bien choisi, la logique à trois valeurs ressemble à la taille d'un bonsaï, éliminer le superflu pour simplifier
Voir l'originalRépondre0
BerryColdWallet
· Il y a 1h
Faire fonctionner le modèle 8B sur iPhone à 27 tok/s ? Les utilisateurs d'Apple sont ravis
Voir l'originalRépondre0
GateUser-e1cfc287
· Il y a 1h
Le rapport efficacité énergétique augmente de 3 à 4 fois, l'anxiété liée à la consommation d'énergie de l'IA en périphérie est résolue
Voir l'originalRépondre0
L2Mailman
· Il y a 1h
Support natif de MLX, une nouvelle pièce s'ajoute au cercle fermé de l'écosystème Apple
Voir l'originalRépondre0
FoldedCosmosCat
· Il y a 1h
Open source + Apache 2.0, cette vague de PrismML a ouvert de nouvelles perspectives
Voir l'originalRépondre0
Afficher plus
  • Épinglé