vkhosla presenta el modelo 1-bit Bonsai de 8B, con un uso de memoria de solo 1.15GB

Noticias de ME, 1 de abril (UTC+8), recientemente el autor vkhosla presentó en redes sociales un modelo de pesos de 1 bit llamado 1-bit Bonsai 8B. Según su descripción, el modelo ocupa solo 1.15 GB de memoria, y su densidad de inteligencia (intelligence density) supuestamente supera en más de 10 veces a la de su modelo correspondiente de precisión total. El artículo señala que, en hardware de borde, el volumen del modelo se redujo 14 veces, la velocidad aumentó 8 veces y la eficiencia energética mejoró 5 veces, manteniendo al mismo tiempo su competitividad frente a otros modelos. La noticia también menciona que el modelo tiene una mejor compresibilidad, una mayor velocidad, un menor volumen y una mayor eficiencia energética que el modelo anunciado un día antes por Google. El texto original no proporciona puntos de referencia específicos de rendimiento del modelo, el emisor, detalles de implementación técnica ni resultados de evaluación completos. (Fuente: InFoQ)