GLM-5.1 REAPシリーズモデルがリリースされ、多様な量子化およびプルーニングバリアントを提供

robot
概要作成中

ME News ニュース、4月22日(UTC+8)、最近、7440億パラメータのBF16モデルGLM-5.1を基にしたGLM-5.1 REAPシリーズモデルがリリースされました。このシリーズはREAP剪定とさまざまな量子化技術を用いて生成され、異なるハードウェアに適応することを目的としています。REAP剪定は、混合専門家モデル内の各専門家の貢献度を評価し、最も貢献度の低い専門家を除去し、ルーティングゲートを再番号付けして、品質の損失を最小限に抑えます。シリーズは、BF16、NVFP4、GPTQ W4A16、GGUFフォーマットを含む複数のコアバリアントを提供し、パラメータ規模は約285GBから1125GBまで異なり、Hopper、Ampere、Blackwellなどの異なるアーキテクチャのGPUやCPUに最適化されています。すべてのモデルはMITライセンスを使用しており、sglang、vLLM、llama.cppなどのエンジンを通じて展開可能です。(出典:InFoQ)

原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし
  • ピン