vkhosla apresenta o modelo 1-bit Bonsai de 8B, com uso de memória de apenas 1,15GB

Notícias ME: Mensagem, 1 de abril (UTC+8). Recentemente, o autor vkhosla apresentou nas redes sociais um modelo de pesos de 1-bit chamado 1-bit Bonsai 8B. Segundo a sua descrição, a memória utilizada pelo modelo é apenas de 1,15 GB e a sua densidade de inteligência (intelligence density) alegadamente supera em mais de 10 vezes a do seu modelo correspondente de precisão total. As opiniões no texto indicam que, em hardware de ponta (edge), o modelo reduz o volume em 14 vezes, aumenta a velocidade em 8 vezes e melhora a eficiência energética em 5 vezes, mantendo ainda competitividade face a outros modelos. A notícia também menciona que o modelo tem melhor compressibilidade, velocidade mais rápida, menor volume e maior eficiência energética do que o modelo anunciado pela Google no dia anterior. O texto original não fornece benchmarks concretos de desempenho, a entidade responsável pelo lançamento, detalhes de implementação técnica ou resultados de avaliação completos. (Fonte: InFoQ)