GLM-5.1 REAP系列模型发布，提供多种量化与剪枝变体

ME News Новости, 22 апреля (UTC+8), недавно была выпущена серия моделей GLM-5.1 REAP на базе модели BF16 с 7440 миллиардами параметров. Эта серия создана с помощью обрезки REAP и различных технологий квантования, предназначенных для адаптации к разному оборудованию. Обрезка REAP оценивает вклад каждого эксперта в гибридной модели экспертов, удаляет наименее значимых экспертов и переименовывает маршрутизирующие ворота, чтобы минимизировать потерю качества. В серии представлены несколько основных вариантов, включая BF16, NVFP4, GPTQ W4A16 и формат GGUF, с размером параметров от примерно 285 ГБ до 1125 ГБ, оптимизированных для различных архитектур GPU или CPU, таких как Hopper, Ampere, Blackwell. Все модели распространяются под лицензией MIT и могут быть развернуты с помощью движков, таких как sglang, vLLM или llama.cpp. (Источник: InFoQ)