PrismML lança a série Ternary Bonsai, usando pesos de 1,58 bits {-1,0,+1}, com apenas um nono da memória de vídeo de um modelo de 16 bits. As três escalas de 8B/4B/1,7B já estão disponíveis como código aberto no Hugging Face e rodando nativamente em dispositivos Apple. O peso de 8B é aproximadamente 1,75 GB, com uma pontuação de referência de 75,5, liderando na categoria. No iPhone 17 Pro Max, a taxa de 8B é de 27 tokens por segundo, com uma melhoria de eficiência energética de 3 a 4 vezes. Os pesos são distribuídos sob a licença Apache 2.0, rodando nativamente em dispositivos Apple através do framework MLX.

MeNews

2026-05-21 05:44:03

Geração de resumo em curso

ME News Notícias, 17 de abril (UTC+8), de acordo com a monitorização do Beating, a PrismML lançou a série de modelos de linguagem Ternary Bonsai, usando a tecnologia de pesos ternários de 1,58 bits, que reduz o consumo de memória do modelo para um nono do modelo de 16 bits, mantendo alto desempenho.
A série inclui modelos com 8B, 4B e 1,7B de parâmetros, já disponível de código aberto na Hugging Face e suportando execução nativa em dispositivos Apple.
O chamado modelo de 1,58 bits refere-se a limitar os pesos da rede neural a três valores {-1, 0, +1}.
Em comparação com o modelo de 1 bit, que busca compressão extrema (com pesos apenas {-1, +1}), a introdução do valor "0" pode eliminar conexões redundantes, permitindo que o modelo mantenha capacidades de raciocínio complexas mesmo com um tamanho extremamente pequeno.
O arquivo de peso do Ternary Bonsai 8B lançado desta vez tem apenas 1,75 GB, com uma pontuação média de benchmark de 75,5, superando em 5 pontos a versão de 1 bit da própria empresa, e liderando significativamente em "densidade inteligente" (desempenho por GB de memória de vídeo) em relação a modelos densos semelhantes como o Qwen3.
A eficiência energética e a velocidade de execução são outras vantagens centrais desta série.
No iPhone 17 Pro Max, a versão de 8B atinge uma velocidade de 27 tok/s, com uma melhoria de cerca de 3 a 4 vezes na eficiência energética.
Para desenvolvedores que precisam implantar IA de alto desempenho em dispositivos móveis, laptops e outros dispositivos de borda, isso significa que podem obter desempenho inteligente próximo ao de modelos de precisão completa com um custo de memória extremamente baixo.
Atualmente, o modelo Ternary Bonsai já possui suporte nativo na Apple através do framework MLX.
Os pesos do modelo são distribuídos sob a licença Apache 2.0.
(Fonte: BlockBeats)

Ver original

Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.

7 gostos

Recompensa
7
9
10
Partilhar

Comentar

Adicionar um comentário

OldKeyboardTraitor

· 4h atrás

A quantização de três valores de peso é na verdade muito mais difícil do que a binarização, a presença de 0 permite uma retenção de informação mais flexível, esta etapa do PrismML foi bem escolhida.

Ver originalResponder0

BoredInBlockspace

· 4h atrás

1.75GB armazena 8B de parâmetros, no futuro os LLMs locais realmente se tornarão a norma

Ver originalResponder0

0xLateDiner

· 4h atrás

1.58 de peso de bits é demasiado forte, a memória gráfica foi reduzida para um nono, essa taxa de compressão é bastante impressionante

Ver originalResponder0

GateUser-0f33f9ef

· 4h atrás

{-1,0,+1} quantização de três valores, a elegância matemática na engenharia também se concretizou

Ver originalResponder0

ProofOfSnack

· 5h atrás

Ternary Bonsai este nome é excelente, os três valores são como poda de um bonsai, simplificando e eliminando o excesso

Ver originalResponder0

BerryColdWallet

· 5h atrás

Executar o modelo 8B no iPhone a 27 tok/s? Usuários da Apple em êxtase

Ver originalResponder0

GateUser-e1cfc287

· 5h atrás

A eficiência energética aumenta de 3 a 4 vezes, a ansiedade com o consumo de energia da IA de borda foi resolvida

Ver originalResponder0

L2Mailman

· 5h atrás

Suporte nativo do MLX, mais uma peça no ecossistema fechado da Apple

Ver originalResponder0

FoldedCosmosCat

· 5h atrás

Código aberto + Apache 2.0, a jogada da PrismML abriu o jogo

Ver originalResponder0

Ver mais

Tópicos em destaque
Ver mais
#
TradfiTradingChallenge
220.62K Popularidade
#
GrayscaleBuysAndStakesOver510KHYPE
8.91M Popularidade
#
IsraelStrikesIranBTCPlunges
48.42K Popularidade
#
#DailyPolymarketHotspot
1.01M Popularidade
#
SpaceXOfficiallyFilesforIPO
744.03K Popularidade

Fixado

PrismML lança o modelo de 1.58 bits Ternary Bonsai, redução de parâmetros em 9 vezes, superando outros similares em inteligência

Tópicos em destaque

TradfiTradingChallenge

GrayscaleBuysAndStakesOver510KHYPE

IsraelStrikesIranBTCPlunges

#DailyPolymarketHotspot

SpaceXOfficiallyFilesforIPO

Fixado