$AMD はソフトウェアの進展を続けています


同社は、MI350やMI400を含む$AMD Instinct GPU上で主要なAIモデルの動作を向上させるために設計されたプラグイン、vLLM-ATOMを導入しました
開発者は同じvLLMコマンド、API、ワークフローを引き続き使用でき、ATOMは背景で動作し、AMDハードウェアのパフォーマンスを向上させるために新しいツールや複雑な設定を必要としません
また、ユーザーはMI355XのFP4サポート、MI400のラックスケール推論、融合アテンション、カスタムAllReduce、その他のカーネル改善など、AMDの最新最適化に即座にアクセスできます
ATOMはまた、AMDが新しい最適化をテストし、その後メインのvLLM ROCmバックエンドに追加する前のイノベーションサンドボックスとしても機能します
原文表示
post-image
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし