Google Vision Banana : Le « moment GPT-3 » de la vision par ordinateur ? Les modèles bruts surpassent les modèles spécialisés de compréhension visuelle

Selon la surveillance Beating, l’équipe de Google (dont les auteurs incluent He Kaiming, Xie Saining, etc.) a publié un article proposant Vision Banana, qui effectue un ajustement fin par instructions légères sur leur modèle de génération d’images Nano Banana Pro (également appelé Gemini 3 Pro Image), le transformant en un modèle de compréhension visuelle universel. La méthode principale consiste à paramétrer de manière unifiée la sortie de toutes les tâches visuelles en images RGB, permettant ainsi aux tâches de segmentation, d’estimation de profondeur, de normal de surface, etc., de se réaliser via la génération d’images, sans nécessiter de concevoir des architectures ou des pertes d’entraînement spécifiques pour chaque type de tâche.

L’évaluation couvre deux grandes catégories de tâches : segmentation d’images et inférence géométrique 3D. En segmentation, la segmentation sémantique (étiqueter chaque pixel d’une image avec une catégorie, comme « route », « piéton », « véhicule ») dépasse le modèle spécialisé SAM de 4,7 points de pourcentage sur Cityscapes ; la segmentation par expression d’instructions (trouver et segmenter un objet correspondant selon une description en langage naturel, comme « le chien portant un chapeau à gauche ») dépasse également SAM 3 Agent. Cependant, en segmentation d’instance (différencier plusieurs individus de la même catégorie, comme marquer séparément les cinq chiens sur une image), il reste en retrait par rapport à SAM 3. Sur le plan 3D, la métrique d’estimation de profondeur (calculer la distance physique réelle de chaque pixel à la caméra à partir d’une seule photo) atteint une précision moyenne de 0,929 sur quatre ensembles de données standard, supérieure à celle du modèle spécialisé Depth Anything V3 qui est de 0,918, et ce, entièrement entraîné sur des données synthétiques sans utiliser de données de profondeur réelles, sans paramètres de caméra lors de l’inférence. L’estimation de la normale de surface (déduire l’orientation de la surface d’un objet) obtient les meilleurs résultats sur trois benchmarks intérieurs.

L’ajustement fin consiste simplement à mélanger une petite quantité de données de tâches visuelles dans les données d’entraînement de génération d’images d’origine, sans affecter fondamentalement la capacité de génération d’images du modèle : la qualité de génération lors des évaluations est comparable à celle de l’Nano Banana Pro d’origine. La publication considère que le rôle de la préformation en génération d’images dans le domaine visuel est similaire à celui de la préformation en génération de texte dans le domaine linguistique : en apprenant à générer des images, le modèle a déjà acquis les représentations internes nécessaires à la compréhension des images, et l’ajustement fin par instructions n’est qu’une étape pour libérer cette capacité.