Google Vision Banana: O "momento GPT-3" na visão computacional? Modelos de imagem bruta superam modelos especializados de compreensão visual

De acordo com o monitoramento Beating, a equipe do Google (incluindo Kaiming He, Saining Xie, entre outros) publicou um artigo, propondo o Vision Banana, que realiza uma microajuste de instruções leve no seu próprio modelo de geração de imagens Nano Banana Pro (ou seja, Gemini 3 Pro Image), transformando-o em um modelo de compreensão visual geral. A abordagem central é parametrizar todas as saídas de tarefas visuais como imagens RGB, permitindo que tarefas de percepção como segmentação, estimativa de profundidade e normal de superfície sejam concluídas por geração de imagens, sem a necessidade de projetar arquiteturas ou perdas de treinamento específicas para cada tipo de tarefa.

A avaliação cobre duas categorias principais de tarefas: segmentação de imagens e inferência de geometria 3D. No aspecto de segmentação, a segmentação semântica (rotular cada pixel da imagem com uma categoria, como “pavimento”, “pedestre”, “veículo”) superou em 4,7 pontos percentuais o modelo dedicado SAM 3 no conjunto de dados Cityscapes; a segmentação por expressão de instruções (encontrar e segmentar o objeto correspondente com base em uma descrição em linguagem natural, como “o cachorro de chapéu à esquerda”) também superou o SAM 3 Agent. Mas na segmentação de instâncias (diferenciar diferentes indivíduos da mesma categoria, como marcar separadamente cinco cães na imagem), ainda fica atrás do SAM 3. Quanto à parte de 3D, a métrica de estimativa de profundidade (calcular a distância física real de cada pixel até a câmera a partir de uma única foto) atingiu uma precisão média de 0,929 em quatro conjuntos de dados padrão, superior ao modelo dedicado Depth Anything V3 com 0,918, treinado inteiramente com dados sintéticos, sem usar dados reais de profundidade, e sem necessidade de parâmetros de câmera na inferência. A estimativa de normal de superfície (inferir a orientação da superfície do objeto) obteve resultados ótimos em três benchmarks internos.

A microajuste consiste em misturar uma pequena quantidade de dados de tarefas visuais no conjunto de dados de treinamento de geração de imagens original, sem afetar significativamente a capacidade de geração de imagens do modelo: na avaliação de qualidade de geração, o desempenho ficou equivalente ao Nano Banana Pro original. O artigo considera que o papel do pré-treinamento de geração de imagens na área visual é semelhante ao do pré-treinamento de geração de texto na área de linguagem: ao aprender a gerar imagens, o modelo já internalizou as representações necessárias para compreender imagens, e a microajuste de instruções apenas libera esse conhecimento.