ME News メッセージ、2023年4月10日(UTC+8)、最近、ベンチマークテストの結果が示されました。SWE-bench Multilingual評価において、Opusアドバイザーを搭載したSonnetモデルは、独立して動作するSonnetモデルよりも2.7ポイント高いスコアを記録しました。同時に、その単一タスクの計算コストは11.9%削減されました。この情報はWesRothがTwitterに投稿したものです。(出典:InFoQ)
Opusアドバイザーを搭載したSonnetモデルが、SWE-benchの多言語評価で性能向上を実現
ME News メッセージ、2023年4月10日(UTC+8)、最近、ベンチマークテストの結果が示されました。SWE-bench Multilingual評価において、Opusアドバイザーを搭載したSonnetモデルは、独立して動作するSonnetモデルよりも2.7ポイント高いスコアを記録しました。同時に、その単一タスクの計算コストは11.9%削減されました。この情報はWesRothがTwitterに投稿したものです。(出典:InFoQ)