Google Vision Banana: Momen "GPT-3" dalam Penglihatan Komputer? Model gambar langsung mengalahkan model pemahaman visual khusus

Menurut pemantauan Beating, tim Google (termasuk penulis seperti He Kaiming, Xie Saining, dan lain-lain) menerbitkan makalah yang mengusulkan Vision Banana, melakukan penyesuaian instruksi ringan pada model generasi gambar mereka sendiri Nano Banana Pro (yaitu Gemini 3 Pro Image), mengubahnya menjadi model pemahaman visual umum. Pendekatan inti adalah memparameterisasi semua output tugas visual menjadi gambar RGB, sehingga tugas persepsi seperti segmentasi, estimasi kedalaman, dan normal permukaan dapat diselesaikan melalui generasi gambar tanpa perlu merancang arsitektur atau kehilangan pelatihan khusus untuk setiap jenis tugas.

Evaluasi mencakup dua kategori utama tugas: segmentasi gambar dan inferensi geometri 3D. Dalam hal segmentasi, segmentasi semantik (menandai setiap piksel dalam gambar dengan kategori seperti “jalan”, “pejalan kaki”, “kendaraan”) di atas model segmentasi khusus SAM 3 sebesar 4,7 poin persentase di atasnya di dataset Cityscapes; ekspresi segmentasi instruksi (menemukan dan membagi objek yang sesuai berdasarkan deskripsi bahasa alami, seperti “anjing bertopi di sebelah kiri”) juga melebihi SAM 3 Agent. Tetapi dalam segmentasi instance (membedakan individu berbeda dari kategori yang sama, seperti menandai lima anjing dalam gambar secara terpisah), masih tertinggal dari SAM 3. Dalam hal 3D, pengukuran estimasi kedalaman (menghitung jarak fisik aktual setiap piksel ke kamera dari satu foto) mencapai akurasi rata-rata 0,929 di empat dataset standar, lebih tinggi dari model khusus Depth Anything V3 yang 0,918, dan sepenuhnya dilatih menggunakan data sintetis tanpa data kedalaman nyata, serta tidak memerlukan parameter kamera saat inferensi. Estimasi normal permukaan (menebak orientasi permukaan objek) mencapai hasil terbaik di tiga benchmark interior.

Penyesuaian instruksi hanya melibatkan pencampuran sejumlah kecil data tugas visual ke dalam data pelatihan generasi gambar asli, dan kemampuan generasi gambar model tetap hampir tidak terpengaruh: dalam evaluasi kualitas generasi, performa setara dengan Nano Banana Pro asli. Makalah berpendapat bahwa peran pra-pelatihan generasi gambar di bidang visual mirip dengan peran pra-pelatihan generasi teks di bidang bahasa: selama model belajar menghasilkan gambar, ia telah mempelajari representasi internal yang diperlukan untuk memahami gambar, dan penyesuaian instruksi hanyalah mengeluarkannya.