币界网消息、テンセントが混元シリーズ最新のフラッグシップモデルHy3 previewを発表。MoE（混合専門家、複数の小型専門家ネットワークを必要に応じて活性化）アーキテクチャを採用し、総パラメータは2950億、活性化パラメータは210億。本モデルはOpenRouter APIとHugging Face demoで公開されたが、オープンソースの重みは未公開。これは元OpenAI研究員でテンセントのチーフAIサイエンティストである姚順雨が加わってから主導した初のフラッグシップモデルであり、テンセントが今年2月に基礎モデル研究開発体制を再構築してから3ヶ月足らずでの成果。テンセントはこれを「国内トップモデルと同等」と位置づけている。
2950億パラメータのうち210億のみ活性化、このスパース性の設計はなかなか面白い。OpenRouterで既に試せるので、先にテストしてみる。