2024年4月24日、DeepSeek-V4モデルが正式リリースされ、オープンソース化されました。華為クラウドが初めて適応しました。 DeepSeek-V4に対して、華為クラウドはモデル層の注意力圧縮メカニズムを初導入し、V4の注意力メカニズム下でのKVキャッシュの効率的な割り当て管理を実現しました。 TopK、SWA、CFAなどの10以上の昇天高性能融合演算子を提供し、フレームワークの非同期スケジューリングやMTP多ステップ投機などのフレームワーク最適化と組み合わせて、ネイティブの1M長のコンテキストで高性能推論をサポートします。 現在、華為クラウドのMaaSモデル即サービスプラットフォームは、開発者に対して、DeepSeek-V4-Flash APIをワンタッチで呼び出せるトークンサービスを提供しています。
DeepSeek-V4-FlashがHuawei Cloudにリリースされました
2024年4月24日、DeepSeek-V4モデルが正式リリースされ、オープンソース化されました。華為クラウドが初めて適応しました。
DeepSeek-V4に対して、華為クラウドはモデル層の注意力圧縮メカニズムを初導入し、V4の注意力メカニズム下でのKVキャッシュの効率的な割り当て管理を実現しました。
TopK、SWA、CFAなどの10以上の昇天高性能融合演算子を提供し、フレームワークの非同期スケジューリングやMTP多ステップ投機などのフレームワーク最適化と組み合わせて、ネイティブの1M長のコンテキストで高性能推論をサポートします。
現在、華為クラウドのMaaSモデル即サービスプラットフォームは、開発者に対して、DeepSeek-V4-Flash APIをワンタッチで呼び出せるトークンサービスを提供しています。