El modelo ternario de 1.58 bits que se ejecuta en Ascend 910B, con la memoria reducida a una sexta parte de BF16, aún puede mantener más del 95% de precisión, ¡por fin la implementación en el borde puede hacerse realidad!

BitCPM-CANN fue lanzado conjuntamente por ModelBest, la comunidad de Tsinghua y OpenBMB, siendo el primer modelo de gran escala de 1.58 bits entrenado en el NPU Ascend 910B en todo el mundo.
Utiliza cuantización de peso en modo tri-estado con bits extremadamente bajos, reduciendo el uso de memoria en aproximadamente 6 veces en comparación con BF16, y es compatible con dispositivos edge como teléfonos móviles, computadoras y vehículos.
El stack de entrenamiento está completamente nativo en Ascend, y la familia de modelos de 0.5B a 8B alcanza un rendimiento del 95-97% en precisión total en varias métricas, haciendo que su implementación y despliegue sean más factibles.