Microsoft open-source Phi-Ground : 4 milliards de paramètres, la précision de clics a surpassé Operator et Claude

Selon les informations de Coinjie.com, Microsoft a open source la famille de modèles Phi-Ground, spécialement conçue pour résoudre le problème « où cliquer sur l’écran » lors de la manipulation de l’IA sur un ordinateur. La version open source de 4 milliards de paramètres a dépassé la précision de clics d’OpenAI Operator et de Claude sur le benchmark Showdown, et a remporté la première place dans toutes les cinq évaluations, y compris Screenspot-Pro, pour des modèles de moins de 10 milliards de paramètres. L’équipe a effectué une validation à grande échelle avec plus de 40 millions de données, découvrant que les trois techniques d’entraînement couramment utilisées dans les articles académiques deviennent toutes inefficaces lorsque la quantité de données augmente. La méthode efficace consiste à traiter directement les coordonnées comme des nombres ordinaires, par exemple « 523, 417 ». L’équipe a également découvert que l’apprentissage par renforcement est utile pour les tâches purement visuelles, en faisant prédire plusieurs clics sur la même image, puis en comparant les résultats corrects et incorrects pour l’entraînement. Pour résoudre le problème des boutons trop petits sur les écrans 4K haute résolution, l’équipe a réduit proportionnellement la capture d’écran, puis l’a collée sur une grande toile blanche, simulant ainsi un véritable scénario où les éléments sont extrêmement petits sur un écran haute résolution. Cette technique est particulièrement efficace sur des logiciels complexes professionnels comme Photoshop.