Open source + Apache 2.0 + Hugging Face, le trio parfait, la communauté peut commencer à jouer

Voir l'original
MeNews
PrismML lance le modèle 1.58-bit Ternary Bonsai, réduction des paramètres par 9 fois, surpassant en intelligence les concurrents
PrismML publie la série Ternary Bonsai, utilisant un poids de 1,58 bit {-1,0,+1}, avec une mémoire vidéo seulement un neuvième de celle d’un modèle de 16 bits.
Les trois tailles 8B/4B/1,7B sont open source sur Hugging Face, et fonctionnent nativement sur les appareils Apple.
Le poids de 8B est d’environ 1,75 Go, avec un score de référence de 75,5, en tête de la catégorie.
Sur l’iPhone 17 Pro Max, la vitesse de 8B est de 27 tokens/sec, avec une amélioration de 3 à 4 fois de l’efficacité énergétique.
Les poids sont distribués sous licence Apache 2.0, et fonctionnent nativement sur les appareils Apple via le cadre MLX.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épinglé