ME News Notícias, 17 de abril (UTC+8), de acordo com o monitoramento do Beating, a PrismML lançou a série de modelos de linguagem Ternary Bonsai, usando a tecnologia de pesos ternários de 1,58 bits, que reduz o uso de memória do modelo para um nono do modelo de 16 bits, mantendo alto desempenho.
A série inclui tamanhos de parâmetro de 8B, 4B e 1,7B, já disponível no Hugging Face como código aberto e suportando execução nativa em dispositivos Apple.
O chamado modelo de 1,58 bits refere-se a limitar os pesos da rede neural a três valores {-1, 0, +1}.
Em comparação com o modelo de 1 bit, que busca compressão extrema (com pesos apenas {-1, +1}), a introdução do valor "0" pode eliminar conexões redundantes, permitindo que o modelo mantenha capacidades de raciocínio complexas mesmo com um tamanho extremamente pequeno.
O arquivo de peso do Ternary Bonsai 8B lançado agora tem apenas 1,75 GB, com uma pontuação média de benchmark de 75,5, superando em 5 pontos a versão de 1 bit da própria empresa, e liderando significativamente em "densidade inteligente" (desempenho por GB de memória de vídeo) em relação a modelos densos semelhantes como o Qwen3.
A eficiência energética e a velocidade de execução são outras vantagens centrais dessa série.
No iPhone 17 Pro Max, a versão de 8B pode atingir uma velocidade de 27 tok/s, com uma melhoria de cerca de 3 a 4 vezes na eficiência energética.
Para desenvolvedores que precisam implantar IA de alto desempenho em dispositivos móveis, laptops e outros dispositivos de borda, isso significa obter desempenho inteligente quase completo com um custo de memória extremamente baixo.
Atualmente, o modelo Ternary Bonsai já tem suporte nativo na Apple através do framework MLX.
Os pesos do modelo são distribuídos sob a licença Apache 2.0.
(Fonte: BlockBeats)

Ver original

Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.

10 Curtidas

Recompensa
10
13
14
Compartilhar

Comentário

Adicionar um comentário

GlowingHotAirBalloon

· 05-24 01:58

1.7B/4B/8B três faixas cobrem de celulares a laptops, a ideia do produto é clara

Ver originalResponder0

GovernanceVotingTug-Of-WarKing

· 05-22 07:20

Um nono do memória de vídeo de um modelo de 16 bits significa que com a mesma placa de vídeo é possível acomodar um modelo ou lote de dados 9 vezes maior, reconstrução do custo de treinamento

Ver originalResponder0

GateUser-af0710ba

· 05-22 04:50

Da publicação do artigo até o código aberto no Hugging Face e a implementação no MLX, toda a cadeia completa, ao contrário de alguns projetos que só lançam PPTs

Ver originalResponder0

GateUser-1bc81bb2

· 05-21 16:21

O índice de referência de 75,5 lidera entre os similares, o controle de perdas quantitativas está bom, não é um brinquedo que busca apenas a taxa de compressão.

Ver originalResponder0

OldKeyboardTraitor

· 05-21 06:24

A quantização de três valores de peso é na verdade muito mais difícil do que a de dois valores, a presença de 0 permite uma retenção de informação mais flexível, essa etapa do PrismML foi bem escolhida.

Ver originalResponder0

BoredInBlockspace

· 05-21 06:13

1,75GB armazena 8B de parâmetros, no futuro os LLMs locais realmente se tornarão a norma

Ver originalResponder0

0xLateDiner

· 05-21 06:07

1.58 de peso de bits é muito forte, a memória foi reduzida a um nono, essa taxa de compressão é bastante significativa

Ver originalResponder0

GateUser-0f33f9ef

· 05-21 06:02

{-1,0,+1} quantização de três valores, a elegância matemática na engenharia também se concretizou

Ver originalResponder0

ProofOfSnack

· 05-21 05:54

Ternary Bonsai esse nome é ótimo, os três valores são como poda de um bonsai, simplificando ao máximo

Ver originalResponder0

BerryColdWallet

· 05-21 05:53

Executando o modelo 8B no iPhone a 27 tok/s? Usuários da Apple estão em êxtase

Ver originalResponder0

Ver projetos

Tendências
Ver projetos
#
ShareYourUSStocksWinNvidia
3.4M Popularidade
#
PredictNBAChampionWin20000U
1.99M Popularidade
#
IsraelStrikesIranBTCPlunges
53.58K Popularidade
#
ETHPlunges5PercentBelow1800
178.29M Popularidade
#
HYPEHitsAllTimeHigh
9.45M Popularidade

Fixado

sitemap

PrismML lança o modelo de 1.58 bits Ternary Bonsai, com redução de parâmetros em 9 vezes, superando outros similares em inteligência

Tendências

ShareYourUSStocksWinNvidia

PredictNBAChampionWin20000U

IsraelStrikesIranBTCPlunges

ETHPlunges5PercentBelow1800

HYPEHitsAllTimeHigh

Fixado