新浪开源VibeThinker-3B:推理可压缩,事实知识不能

robot
Geração de resumo em curso
ME News mensagem, 28 de junho (UTC+8), a Sina lançou o VibeThinker-3B com apenas 3B parâmetros, igualando modelos 200-333 vezes maiores como DeepSeek V3.2 em benchmarks de matemática e programação como AIME26, superando todos os modelos abaixo de 20B no LiveCodeBench, resolvendo 123/128 problemas de competição do LeetCode, ultrapassando GPT-5.2, Kimi K2.5, etc. No entanto, ficou significativamente atrás no GPQA-Diamond, intensivo em conhecimento. O modelo é baseado no Qwen2.5-Coder-3B da Alibaba, passando por treinamento pós-etapas múltiplas, incluindo SFT, aprendizagem por reforço e autodestilação. A pesquisa propõe a "hipótese de compressão-cobertura de parâmetros": o raciocínio lógico depende de alguns padrões compressíveis, enquanto o conhecimento mundial amplo ainda requer grandes parâmetros. O modelo foi disponibilizado como código aberto. 🔗 Leia o original:
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado