$AMD は、ROCmを使用してMI300XおよびMI325X GPU上で全面的に学習した、最先端の完全にオープンなモデルをリリースしました
Instella-MoEは160億(16-billion)パラメータの混合専門家(mixture-of-experts)モデルで、トークンごとに有効化するのは28億(2.8 billion)パラメータのみです。これにより推論コストを下げつつ、同程度またはそれ以上の有効パラメータ数を持つ密(dense)モデルやMoEモデルと競争力を維持します
64Kのコンテキストウィンドウに対応しており、事前学習から強化学習まで、6つの段階を経て訓練されました
AMDはさらに2つの新しい効率化技術も導入しました:
- 低価値な注意(attention)出力をフィルタするGated Multi-head Latent Attention
- 通信と計算を重ねるFarSkip-Collectiveで、事前学習速度を12.7%向上させ、初回トークンまでの時間(time-to-first-token)を最大39.2%削減します