GLM-5.1 REAP serie de modelos lanzados, ofreciendo varias variantes de cuantificación y poda

Noticias ME News, 22 de abril (UTC+8), recientemente, se han lanzado los modelos de la serie GLM-5.1 REAP basados en el modelo BF16 de 7440 mil millones de parámetros. La serie se genera mediante poda REAP y varias técnicas de cuantización, con el objetivo de adaptarse a diferentes hardware. La poda REAP evalúa la contribución de cada experto en el modelo de expertos híbridos, elimina los expertos con menor contribución y vuelve a numerar las puertas de enrutamiento para minimizar la pérdida de calidad. La serie ofrece varias variantes principales, incluyendo BF16, NVFP4, GPTQ W4A16 y formato GGUF, con un tamaño de parámetros que varía desde aproximadamente 285 GB hasta 1125 GB, optimizadas para diferentes arquitecturas de GPU o CPU como Hopper, Ampere y Blackwell. Todos los modelos utilizan la licencia MIT y se pueden desplegar mediante motores como sglang, vLLM o llama.cpp. (Fuente: InFoQ)