PrismML lanza la serie Ternary Bonsai, que utiliza pesos de 1.58 bits {-1,0,+1}, con un tamaño de memoria solo una novena del modelo de 16 bits. Las versiones de 8B/4B/1.7B ya están abiertas en Hugging Face y se ejecutan de forma nativa en dispositivos Apple. El peso de 8B es aproximadamente 1.75 GB, con una puntuación de referencia de 75.5, liderando en su categoría. En el iPhone 17 Pro Max, la velocidad de 8B es de 27 tokens/segundo, con una mejora en eficiencia energética de 3 a 4 veces. Los pesos se distribuyen bajo Apache 2.0 y se ejecutan de forma nativa en dispositivos Apple a través del marco MLX.

MeNews

2026-05-21 05:44:03

Generación de resúmenes en curso

ME News Noticias, 17 de abril (UTC+8), según la monitorización de Dongcha Beating, PrismML lanzó la serie de modelos de lenguaje Ternary Bonsai, que mediante la tecnología de pesos ternarios de 1.58 bits, reduce el consumo de memoria del modelo a una novena del modelo de 16 bits, manteniendo un alto rendimiento. La serie incluye tres tamaños de parámetros: 8B, 4B y 1.7B, y ya está disponible en open source en Hugging Face, soportando ejecución nativa en dispositivos Apple.
El llamado modelo de 1.58 bits se refiere a limitar los pesos de la red neuronal a los valores {-1, 0, +1}. En comparación con el modelo de 1 bit, que busca una compresión extrema (con pesos solo {-1, +1}), la introducción del valor «0» puede eliminar conexiones redundantes, permitiendo que el modelo conserve capacidades de razonamiento complejas en un tamaño muy reducido.
El archivo de peso de 8B de Ternary Bonsai lanzado esta vez tiene solo 1.75 GB, y su puntuación en pruebas de referencia alcanza 75.5, superando en 5 puntos a su versión de 1 bit, e incluso liderando significativamente en «densidad inteligente» (rendimiento por GB de memoria de video) en comparación con modelos densos similares como Qwen3.
La eficiencia energética y la velocidad de ejecución son otra ventaja clave de esta serie. En el iPhone 17 Pro Max, la versión de 8B puede alcanzar una velocidad de 27 tok/s, con una mejora de aproximadamente 3 a 4 veces en relación con la eficiencia energética.
Para los desarrolladores que necesitan desplegar IA de alto rendimiento en dispositivos móviles, portátiles y otros dispositivos en el borde, esto significa poder obtener un rendimiento inteligente cercano al de modelos completos con un costo de memoria muy reducido.
Actualmente, los modelos Ternary Bonsai ya cuentan con soporte nativo en dispositivos Apple a través del framework MLX. Los pesos del modelo se distribuyen bajo la licencia Apache 2.0.
(Fuente: BlockBeats)

Ver original

Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.

7 me gusta

Recompensa
7
9
10
Compartir

Comentar

Añadir un comentario

OldKeyboardTraitor

· hace4h

La cuantificación en tres valores de peso en realidad es mucho más difícil que la binarización, la existencia de 0 permite una retención de información más flexible, y PrismML eligió bien este paso.

Ver originalResponder0

BoredInBlockspace

· hace4h

1.75GB para alojar 8B de parámetros, en el futuro los LLM locales realmente se convertirán en la norma

Ver originalResponder0

0xLateDiner

· hace4h

1.58 de peso de bits es demasiado fuerte, la memoria se reduce directamente a una novena parte, esta tasa de compresión tiene algo de valor

Ver originalResponder0

GateUser-0f33f9ef

· hace4h

{-1,0,+1} cuantificación de tres valores, la elegancia matemática y la ingeniería también se han materializado

Ver originalResponder0

ProofOfSnack

· hace5h

El nombre Ternary Bonsai es ingenioso, los tres valores son como la poda de un bonsái, simplificando lo complejo.

Ver originalResponder0

BerryColdWallet

· hace5h

¿Ejecutando el modelo 8B en iPhone a 27 tok/s? ¡Los usuarios de Apple están eufóricos!

Ver originalResponder0

GateUser-e1cfc287

· hace5h

La relación de eficiencia energética mejora de 3 a 4 veces, la ansiedad por el consumo de energía en la IA en el borde tiene solución

Ver originalResponder0

L2Mailman

· hace5h

Soporte nativo de MLX, un nuevo fragmento para completar el ecosistema cerrado de Apple

Ver originalResponder0

FoldedCosmosCat

· hace5h

Código abierto + Apache 2.0, esta jugada de PrismML ha abierto el panorama

Ver originalResponder0

Temas de actualidad
Ver más
#
TradfiTradingChallenge
220.62K Popularidad
#
GrayscaleBuysAndStakesOver510KHYPE
8.91M Popularidad
#
IsraelStrikesIranBTCPlunges
48.42K Popularidad
#
#DailyPolymarketHotspot
1.01M Popularidad
#
SpaceXOfficiallyFilesforIPO
744.03K Popularidad

Fijado

PrismML lanza el modelo de 1.58 bits Ternary Bonsai, reducción de parámetros en 9 veces, superando en inteligencia a modelos similares

Temas de actualidad

TradfiTradingChallenge

GrayscaleBuysAndStakesOver510KHYPE

IsraelStrikesIranBTCPlunges

#DailyPolymarketHotspot

SpaceXOfficiallyFilesforIPO

Fijado