НВІДІА цього разу справді порушила правила, прямо випустивши відкритий відео-розуміючий монстр

Nemotron 3 Nano Omni, обробка відео неймовірно швидка: за 1 годину можна обробити 10-годинний відеоконтент, у 10 разів швидше за відтворення
Основу становить технологія 3D-згортки, більше не покрокове переглядання кадр за кадром, а "поглинання" даних блоками, що значно підвищує ефективність
У майбутньому ці сценарії справді круті:
Цілий день моніторинг для пошуку "людей без каски, які сваряться"
Точно визначати сцени з "звуками хвиль і заходом сонця" з сотень матеріалів
Прослухавши один відео з роботою машини, можна діагностувати несправності мотора
За кілька хвилин вирішити проблему, навіть заощадити гроші на Whisper
Але слід врахувати, що цей хлопець — типовий спеціаліст з вузькою областю
Усі навички зосереджені на мультимодальному розумінні та обробці, і якщо спробувати використовувати його для написання коду або складних текстових задач, його продуктивність може бути гіршою за легкі моделі для чистого тексту
Висновок: не слід вважати його універсальним програмістом, але у практичних сценаріях, таких як аналіз відео та маркування великої кількості матеріалів, він точно — бог у відкритому світі
Для братів, що займаються AI відео та мультимодальністю, цей проект обов’язково потрібно спробувати
Посилання на проект у коментарях 👇