NVIDIA NVIDIA запускает Nemotron 3 Nano Omni для продвижения унифицированного мультимодального ИИ для корпоративных приложений

Кратко

NVIDIA запускает Nemotron 3 Nano Omni, открытую мультимодальную модель ИИ, объединяющую зрение, речь и язык для повышения производительности, эффективности и масштабируемости корпоративного ИИ.

Технологическая компания NVIDIA объявила о выпуске Nemotron 3 Nano Omni — открытой мультимодальной модели искусственного интеллекта, предназначенной для объединения возможностей зрения, речи и языка в одной системе. Модель предназначена для того, чтобы позволить агентам ИИ обрабатывать и рассуждать на основе различных типов данных, включая видео, аудио, изображения, документы и текст, обеспечивая при этом более быстрые и эффективные ответы.

Согласно объявлению, модель позиционируется как решение, готовое к использованию в бизнесе, направленное на улучшение разработки и развертывания мультимодальных агентов ИИ. Она описывается как обладающая высокой точностью при снижении операционных затрат, а также предоставляющая гибкость и контроль при развертывании для разработчиков и организаций. Сообщается, что система достигла ведущих результатов по нескольким бенчмаркам, связанным с интеллектуальной обработкой документов, а также аудио- и видеопониманием.

Промышленное внедрение уже началось среди ряда компаний, ориентированных на ИИ, среди первых пользователей — Aible, Applied Scientific Intelligence (ASI), Ekacare, H Company и Pyler. Дополнительные организации, такие как Amdocs, Dell, DocuSign, Infosys, IQVIA, Oracle, Palantir Technologies, Quantiphi, Tata Consultancy Services и Zefr, оценивают модель для возможной интеграции в корпоративные рабочие процессы.

Мультимодальная обработка ИИ для повышения эффективности, контекстуальной осведомленности и гибкости развертывания в бизнесе

В технических приложениях Nemotron 3 Nano Omni предназначен для снижения фрагментации, которая обычно возникает при использовании отдельных моделей для разных модальностей. Традиционные системы часто полагаются на отдельные компоненты для обработки зрения, речи и языка, что может увеличивать задержки, затраты и несогласованность в межмодальном рассуждении. Интегрируя визуальное и аудио кодирование в единую архитектуру на основе гибридного дизайна «смесь экспертов», модель стремится упростить вывод и повысить пропускную способность.

Система также предназначена функционировать как слой восприятия в рамках более широких агентных структур, работая вместе с другими моделями из семейства Nemotron. В практических приложениях она может поддерживать агенты, использующие компьютер, интерпретирующие графические интерфейсы пользователя, системы интеллектуальной обработки документов, анализирующие данные в различных форматах, а также инструменты аудио-видео рассуждений, сохраняющие контекстуальное понимание при работе с несколькими потоками данных.

Архитектура модели разработана для обработки высокоразрешающих входных данных и длительной обработки контекста, что позволяет более подробно интерпретировать сложные среды, такие как записи с экрана или анализ нескольких документов. Эта возможность предназначена для повышения эффективности в задачах, требующих постоянного ситуационного осведомления со временем.

NVIDIA выпустила Nemotron 3 Nano Omni как открытую модель, предоставляя доступ к весам, наборам данных и методологиям обучения. Компания заявляет, что такой подход позволяет организациям настраивать и развертывать систему в различных средах, включая облако, локальные инфраструктуры и периферийные устройства, в зависимости от требований регуляторов или управления данными. Модель доступна через несколько каналов распространения, включая платформы для разработчиков и партнерские экосистемы, что обеспечивает интеграцию в существующие ИИ-пайплайны.