面白いアイデア - HyperWriteは、オフラインベンチマークではなく、Stripeのコンバージョン率に基づいてモデルを評価するためにA/Bテストを使用し、GPT-4.1が彼らの現在のモデルClaude 3.5 Sonnetとコンバージョンで一致し、 substantialなコスト削減を実現したことを発見しました。