Google Vision Banana: чи час GPT-3 для комп’ютерного зору? Модель необробленого зображення перемагає спеціалізовані моделі розуміння зору

Згідно з моніторингом Beating, команда Google (автори включають Хе Каймінга, Се Сайнян та інших) опублікувала статтю, у якій запропоновано Vision Banana, що базується на власній моделі генерації зображень Nano Banana Pro (тобто Gemini 3 Pro Image), з легким інструкційним тонким налаштуванням, перетворюючи її на універсальну модель візуального розуміння. Основний підхід полягає в тому, щоб всі візуальні завдання параметризувати єдиним чином у вигляді RGB-зображень, дозволяючи виконувати завдання сегментації, оцінки глибини, визначення нормалі поверхні та інших сприйняттєвих задач через генерацію зображень без необхідності розробляти спеціальні архітектури або навчальні втрати для кожного типу завдання.

Оцінка охоплює дві основні категорії завдань: сегментацію зображень та 3D-геометричне виведення. Щодо сегментації, семантична сегментація (позначення кожного пікселя зображення класом, наприклад «дорожне покриття», «пішохід», «автомобіль») на Cityscapes перевищує спеціалізовану модель сегментації SAM на 4.7 відсоткових пунктів; інструкційна сегментація (знаходження та сегментація об’єктів за природною мовною описом, наприклад «та собака у капелюсі зліва») також перевищує SAM 3 Agent. Однак у випадку інстанційної сегментації (розрізнення різних об’єктів одного класу, наприклад окремо позначити п’ять собак на зображенні) вона все ще поступається SAM 3.3. У сфері 3D, оцінка глибини (обчислення фізичної відстані від кожного пікселя до камери за однією фотографією) досягає середньої точності 0.929 на чотирьох стандартних наборах даних, що вище за спеціалізовану модель Depth Anything V3 з показником 0.918, причому модель тренувалася виключно на синтезованих даних без використання реальних глибоких даних і без необхідності враховувати параметри камери під час інференсу. Визначення нормалі поверхні (прогнозування орієнтації поверхні об’єкта) досягло найкращих результатів на трьох внутрішніх базах даних.

Тонке налаштування полягає у додаванні невеликої кількості даних візуальних завдань у вихідні дані тренування генерації зображень, при цьому здатність моделі до генерації зображень залишається майже без змін: у оцінках якості генерації вона відповідає оригінальному Nano Banana Pro. Стаття вважає, що роль попереднього тренування з генерації зображень у візуальній сфері подібна до ролі попереднього тренування з генерації тексту у мовній сфері: під час навчання на генерацію зображень модель вже засвоїла внутрішні репрезентації, необхідні для розуміння зображень, а інструкційне тонке налаштування лише дозволяє їй ці знання реалізувати.