OpenAI добавляет голосовому ИИ способность «видеть»

Автор: Ли Хайлунь, Tencent Technology

Ранним утром 9 июля по пекинскому времени OpenAI официально представила новое поколение голосовых моделей серии GPT-Live, которое включает две версии: GPT-Live-1 и GPT-Live-1 mini, и поддерживает голосовые функции ChatGPT.

Ключевое обновление GPT-Live — «двунаправленная архитектура» (full-duplex), которая делает акцент на понимании способа ведения диалога голосовым ИИ. Модель может одновременно обрабатывать слушание и речь, во время разговора использует короткие фразы, чтобы показать, что слушает, поддерживает быстрый обмен репликами, а также может сохранять тишину, когда пользователь задумывается.

Это ближе к реальному человеческому разговору, добавляет чувство такта в общении.

Официальные представители OpenAI сказали: «В процессе диалога GPT-Live может отвечать звуками вроде „ммм“ и „да“, показывая, что он слушает, а также может быстро обмениваться репликами; когда вам нужно немного подумать, он может сохранять молчание. В итоге это приводит к более лёгкому и естественному голосовому взаимодействию».

Когда требуется поиск в интернете, глубокие рассуждения или сложные задачи, GPT-Live передаёт работу фоновой передовой модели, а после получения результатов возвращает их в разговор, не прерывая его.

На момент запуска фоновой моделью была GPT-5.5. OpenAI заявила, что будет постоянно обновлять базовую поддержку по мере выхода новых моделей.

Работа во время разговора

Раньше в основе голосовых возможностей GPT лежала система низкозадерживаемого аудиопотока: пользователь говорит, модель быстро понимает и отвечает; пользователь перебивает — модель вовремя останавливается.

Ключевое обновление GPT-Live на этот раз — разделение голосового взаимодействия и глубоких рассуждений на два независимых этапа.

Когда пользователь задаёт запрос, требующий поиска, рассуждений или более мощных агентских возможностей, GPT-Live передаёт задачу фоновой модели, а фронтальная голосовая модель продолжает поддерживать диалог с пользователем, по возможности не нарушая ритм общения.

Эта «модель делегирования» по сути является архитектурным разделением: фронтальная часть использует голосовую нативную модель, оптимизированную для взаимодействия в реальном времени, чтобы вести разговор, делать паузы и поддерживать естественный диалог; фоновая часть использует независимую модель рассуждений для поиска, вычислений, вызова инструментов и выполнения сложных задач.

Они работают раздельно, и механизм рассуждений может быть заменён по мере развития технологий, а опыт голосовой модели может обновляться без повторного обучения.

Для корпоративных приложений ценность двунаправленной архитектуры заключается в том, что голосовой агент может выполнять фоновые задачи, такие как запросы к базам данных, поиск в интернете, многошаговые рассуждения, не прерывая ритм разговора. Раньше такие операции часто вызывали несколько секунд молчания, заставляя пользователя явно чувствовать, что «система обрабатывает». Теперь они могут быть скрыты в более естественном ритме общения.

Оценочные данные отражают эффективность раздельной конструкции.

По официальным данным, при прямом сравнении GPT-Live-1 с Advanced Voice Mode (расширенным голосовым режимом) первый значительно превзошёл второй по общему предпочтению в диалогах длительностью 5–10 минут, поочерёдному обмену репликами, прерываниям, плавности диалога и естественности каждого взаимодействия, причём общее предпочтение составило 75,7%.

В тесте плавности диалога GPT-Live-1 получил 4,96 балла, Advanced Voice Mode — 3,80 балла. По показателю удовольствия GPT-Live-1 набрал 5,19 балла, Advanced Voice Mode — 3,82 балла.

В тесте экспертной научной логики GPQA Advanced Voice Mode показал 45,3%, GPT-Live-1 (high) — 84,2%, GPT-Live-1 mini — 74,9%.

В тесте интеллектуального веб-поиска BrowseComp Advanced Voice Mode получил лишь 0,7%, GPT-Live-1 (high) — 75,2%, GPT-Live-1 mini — 31,6%.

Такая значительная разница подтверждает эффективность стратегии передачи задач рассуждения фоновой передовой модели.

Кроме того, OpenAI заявила, что для GPT-Live были заново записаны девять голосов ChatGPT.

Теперь пользователи могут выбирать три уровня рассуждения для ответа: мгновенный режим для быстрых ответов, средний и высокий режимы для сценариев, требующих большего обдумывания.

Во время разговора ChatGPT может отображать визуальные карточки на такие темы, как погода, акции, спорт, позволяя пользователю просматривать информацию, продолжая беседу. Голосовая функция по-прежнему поддерживает поиск, память, изображения и загрузку файлов.

С точки зрения эволюции продукта, голосовой ChatGPT превратился из базовой функции в самостоятельный продукт. Пользователи используют его для языковой практики, рассказывания сказок на ночь, общения в дороге или получения повседневной помощи без использования рук.

Выпуск GPT-Live приблизил этот опыт к видению, описанному OpenAI: взаимодействие с ИИ становится таким же плавным и отзывчивым, как с реальным человеком, при этом рассуждения и сложные задачи выполняются в фоновом режиме.

Безопасность

В голосовом диалоге границы безопасности также очень важны. Особенно в диалогах в реальном времени модель должна не только понимать, что говорит пользователь, но и обрабатывать сложные риски, связанные с тоном, эмоциями, прерываниями и последовательными вопросами.

Для этого OpenAI, опираясь на существующие меры безопасности, провела специальное обучение по ключевым областям риска и разработала отдельный набор защитных мер для голосовых сценариев.

Что касается тестирования безопасности, OpenAI расширила аудио-нативные оценки, добавив реальные образцы голосов пользователей и комплексно сгенерированные аудиоподсказки в таких областях, как самоповреждения, психические расстройства и мания, эмоциональная зависимость от ИИ, насилие и сексуальный контент.

Внутренние эксперты также провели красное тестирование модели на предмет специфических голосовых рисков.

В комплексной оценке GPT-Live-1 по сравнению с Advanced Voice Mode показал значительное улучшение в нескольких областях: показатель предотвращения незаконных действий вырос с 0,63 до 0,97, предотвращения самоповреждений — с 0,72 до 0,98, предотвращения разжигания ненависти — с 0,87 до 1,00.

В более размытой оценке продуктивных подсказок GPT-Live-1 показал результаты, сопоставимые с Advanced Voice Mode или превосходящие его в большинстве категорий, но в области эмоциональной зависимости показатель незначительно снизился с 0,88 до 0,82. OpenAI отметила, что это изменение статистически незначительно.

Что касается защиты в реальном времени, при обнаружении потенциально небезопасного вывода система может вмешаться во время речи модели, направить её к более безопасному ответу, отобразить дополнительную информацию или ресурсы безопасности, а в случае высокого риска завершить голосовой диалог.

Например, по темам, связанным с самоповреждениями, процесс поддержки ChatGPT был скорректирован с учётом голосовой среды, включая предоставление проверенных экспертами кризисных горячих линий.

В части защиты подростков OpenAI разработала дополнительные меры, обучая модель возрастному поведению. Родители могут с помощью родительского контроля решать, могут ли подростки использовать голосовой ChatGPT, а в ситуациях высокого риска родителям может приходить уведомление.

Стоит отметить, что OpenAI внедрила долгосрочное измерение и мониторинг эмоциональной зависимости после запуска, основанные на предыдущих исследованиях эмоционального использования и эмоционального благополучия. Это признание того, что естественность диалога, к которой стремится GPT-Live, сама по себе может нести новые риски.

Кроме того, GPT-Live использует предопределённые голоса ChatGPT и имеет меры, предотвращающие имитацию голосов реальных людей.

Фоном этого заявления стал инцидент в мае 2024 года, когда при выпуске GPT-4o голос «Sky» оказался похож на голос актрисы Скарлетт Йоханссон. Она тогда заявила, что отказалась от предложения озвучить голосовую систему, и после выхода продукта была «шокирована, разгневана и не могла в это поверить». OpenAI затем удалила этот голос и извинилась.

Три поколения эволюции

В настоящее время двунаправленное голосовое взаимодействие быстро становится стандартом для потребительских AI-продуктов.

Gemini Live от Google уже поддерживает двунаправленный диалог, а также функции камеры и общего доступа к экрану, что на момент выхода GPT-Live ещё не поддерживалось. Google выпустила Gemini 3.1 Flash Live в марте, предоставив разработчикам голосовое взаимодействие с низкой задержкой. Также PersonaPlex от NVIDIA, выпущенная в январе, привнесла настраиваемые голоса и управление персонажами в двунаправленные модели.

Вспомним три поколения эволюции голосовой технологии ChatGPT примерно за два года.

Первоначальная голосовая функция ChatGPT была запущена в 2023 году и представляла собой каскадную систему, объединяющую три модели: модель преобразования речи в текст транскрибировала речь в текст, большая языковая модель генерировала текстовый ответ, а модель преобразования текста в речь превращала ответ обратно в аудио.

В этой архитектуре для преобразования речи в текст OpenAI использовала модель распознавания речи Whisper, базовой языковой моделью была GPT-4, а финальный синтез речи выполняла сопутствующая модель TTS.

Такой подход впервые позволил общаться с передовыми AI-моделями, но ценой была задержка и возможная потеря информации при каждой передаче, а ответы были медленными и неестественными.

Поэтому в мае 2024 года OpenAI выпустила GPT-4o — свою первую нативную мультимодальную модель, способную напрямую обрабатывать аудиовход и аудиовыход, без необходимости во внешних модулях преобразования речи в текст и текста в речь. Расширенный голосовой режим, построенный на GPT-4o, был открыт для платных пользователей в июле 2024 года, а в сентябре стал доступен шире.

Однако он всё ещё работал на основе дискретных раундов: модель должна была дождаться, пока пользователь перестанет говорить, чтобы ответить. Определение раунда основывалось на молчании, поэтому короткие паузы или фоновый шум могли быть ошибочно приняты за окончание речи, что приводило к неуместным прерываниям.

Теперь GPT-Live решает эту проблему с помощью двунаправленной архитектуры, позволяя обрабатывать входные данные и генерировать выходные одновременно. Модель может принимать решения о взаимодействии несколько раз в секунду: говорить, продолжать слушать, делать паузу, прерывать или вызывать инструменты.

Это позволяет модели естественно вставлять диалоговые подтверждения, распознавать естественные паузы, не вмешиваясь преждевременно, и обрабатывать быстрые прерывания, не сбивая разговор.

Когда вам нужно немного подумать, ChatGPT ждёт, а не врывается. При фоновом шуме, таком как проезжающие машины или разговоры рядом, ChatGPT лучше фокусируется на голосе пользователя.

От необходимости говорить в микрофон и ждать почти две секунды для жёсткого ответа два года назад, через более плавный, но всё ещё поочерёдный обмен репликами год назад, до сегодняшнего почти реального разговора с двунаправленным взаимодействием — траектория технологической эволюции очевидна.

GPT-Live, возможно, не конечная точка, но он делает её гораздо ближе.