Google Vision Banana: ¿El "GPT-3 momento" en visión por computadora? ¿El modelo de imagen en vivo supera a los modelos especializados de comprensión visual

Según el monitoreo de Beating, el equipo de Google (incluyendo a He Kaiming, Xie Saining, entre otros) publicó un artículo que presenta Vision Banana, que realiza un ajuste fino de instrucciones liviano en su modelo de generación de imágenes Nano Banana Pro (es decir, Gemini 3 Pro Image), transformándolo en un modelo de comprensión visual general. La estrategia central consiste en parametrizar la salida de todas las tareas visuales en imágenes RGB, permitiendo que tareas de percepción como segmentación, estimación de profundidad y normal de superficie se completen mediante generación de imágenes, sin necesidad de diseñar arquitecturas o funciones de pérdida específicas para cada tipo de tarea.

La evaluación cubre dos grandes categorías de tareas: segmentación de imágenes y inferencia geométrica 3D. En cuanto a la segmentación, la segmentación semántica (etiquetar cada píxel de la imagen con una categoría, como “carretera”, “peatón”, “vehículo”) supera en 4.7 puntos porcentuales al modelo especializado SAM 3 en Cityscapes; la segmentación basada en expresiones (encontrar y segmentar objetos correspondientes según descripciones en lenguaje natural, como “el perro con sombrero a la izquierda”) también supera a SAM 3 Agent. Sin embargo, en segmentación de instancias (diferenciar diferentes individuos de la misma categoría, como marcar cinco perros en la imagen) aún queda por detrás de SAM 3. En el aspecto 3D, la medición de precisión en estimación de profundidad (calcular la distancia física real de cada píxel a la cámara a partir de una sola foto) alcanza un promedio de 0.929 en cuatro conjuntos de datos estándar, superior a Depth Anything V3, que tiene 0.918, y se entrena completamente con datos sintéticos sin usar datos reales de profundidad, sin necesidad de parámetros de cámara durante la inferencia. La estimación de normales de superficie (inferir la orientación de la superficie del objeto) obtiene resultados óptimos en tres benchmarks interiores.

El ajuste fino consiste en mezclar una pequeña cantidad de datos de tareas visuales en los datos de entrenamiento originales de generación de imágenes, sin afectar significativamente la capacidad del modelo para generar imágenes: en las evaluaciones de calidad de generación, iguala el rendimiento del Nano Banana Pro original. La publicación sostiene que el papel del preentrenamiento en generación de imágenes en el campo visual es similar al papel del preentrenamiento en generación de texto en el campo del lenguaje: mientras el modelo aprende a generar imágenes, también adquiere las representaciones internas necesarias para comprenderlas, y el ajuste fino de instrucciones simplemente libera esa capacidad.