OpenAI надає голосовому ШІ "зір"

Автор: Лі Хайлунь, Tencent Technology

О 3 годині ранку 9 липня за пекінським часом OpenAI офіційно представила нове покоління голосових моделей серії GPT-Live, що включає дві версії: GPT-Live-1 та GPT-Live-1 mini, які забезпечують підтримку голосових функцій ChatGPT.

Ключовим оновленням GPT-Live є «повнодуплексна архітектура», яка більше зосереджується на розумінні голосового ШІ в діалоговому режимі. Модель може одночасно слухати та говорити, під час розмови використовувати короткі фрази для позначення того, що вона слухає, підтримує швидке чергування висловлювань, а також зберігати тишу, коли користувач обмірковує відповідь.

Вона більше наближена до реальної людської розмови, має більше почуття такту в діалозі.

Офіційні представники OpenAI заявили: «Під час розмови GPT-Live може використовувати такі відповіді, як “ммм”, “так”, щоб показати, що вона слухає, а також може вести швидкий обмін репліками; коли вам потрібен час на роздуми, вона може залишатися тихою. У результаті виникає більш легка та природна голосова взаємодія».

Коли потрібен пошук в інтернеті, глибоке міркування або виконання складних завдань, GPT-Live передає роботу фоновій передовій моделі, а після отримання результату повертає його в діалог, не перериваючи розмову.

На момент запуску фоновою моделлю була GPT-5.5, і OpenAI заявила, що буде постійно оновлювати базову підтримку з виходом нових моделей.

Спілкування та робота одночасно

Раніше GPT базувався на низькорівневій системі потокового аудіо з низькою затримкою: користувач говорив, модель швидко розуміла та відповідала; користувач перебивав, модель вчасно зупинялася.

Найважливішим оновленням GPT-Live цього разу є розділення голосової взаємодії та глибокого міркування на два незалежні етапи.

Коли користувач ставить запитання, що потребує пошуку, міркування або використання потужніших агентських можливостей, GPT-Live передає завдання фоновій моделі, тоді як передня голосова модель продовжує підтримувати діалог з користувачем, уникаючи переривання ритму спілкування.

Цей «делегатний режим» по суті є архітектурним поділом: передня частина відповідає за розмову, паузи та підтримку природного діалогу за допомогою голосової нативної моделі, оптимізованої для реального часу; фонову частину виконує незалежна модель міркування, яка займається пошуком, обчисленнями, викликом інструментів та виконанням складних завдань.

Обидві частини працюють окремо, і механізм міркування можна замінювати в міру технологічного прогресу, а досвід роботи голосової моделі можна оновлювати без перетренування.

Для корпоративних застосунків цінність повнодуплексної архітектури полягає в тому, що голосовий агент може виконувати фонові завдання, такі як запити до баз даних, пошук в інтернеті, багатокрокові міркування, не перериваючи ритм діалогу. Раніше такі операції часто викликали кілька секунд тиші, змушуючи користувача відчувати, що «система обробляє». Тепер вони можуть бути приховані в більш природному ритмі спілкування.

Оціночні дані відображають ефективність роздільного дизайну.

За офіційними даними, при порівнянні GPT-Live-1 з Advanced Voice Mode у прямому порівнянні, перший значно випереджає в таких аспектах, як загальна перевага, чергування висловлювань, перебивання, плавність діалогу та природність кожного взаємодії в розмовах тривалістю від 5 до 10 хвилин. Загальна перевага становить 75,7%.

У тесті на плавність діалогу GPT-Live-1 отримав 4,96 бала, а Advanced Voice Mode – 3,80. За показником приємності GPT-Live-1 отримав 5,19 бала, а Advanced Voice Mode – 3,82.

У тесті на експертне наукове міркування GPQA Advanced Voice Mode набрав 45,3%, GPT-Live-1 (high) – 84,2%, а GPT-Live-1 mini – 74,9%.

У тесті на агентський пошук в інтернеті BrowseComp Advanced Voice Mode отримав лише 0,7%, GPT-Live-1 (high) – 75,2%, а GPT-Live-1 mini – 31,6%.

Така значна різниця свідчить про ефективність стратегії передачі завдань міркування фоновій передовій моделі.

Крім того, OpenAI повідомила, що для GPT-Live було перезаписано дев'ять голосів у ChatGPT.

Користувачі можуть вибрати три рівні міркування для відповідей: миттєвий режим для швидких відповідей, середній та високий рівні для сценаріїв, що потребують більше роздумів.

Під час діалогу ChatGPT може відображати візуальні картки на такі теми, як погода, акції, спорт, що дозволяє користувачам переглядати їх під час розмови. Голосова функція продовжує підтримувати пошук, пам'ять, зображення та завантаження файлів.

З точки зору еволюції продукту, голос ChatGPT перетворився з базової функції на окремий продукт. Користувачі використовують його для вивчення мов, читання казок на ніч, спілкування під час поїздок або отримання повсякденної допомоги без використання рук.

Випуск GPT-Live наближає цей досвід до бачення, описаного OpenAI: співпраця зі ШІ є такою ж плавною та чуйною, як і з реальною людиною, при цьому міркування та складні завдання виконуються у фоновому режимі безперешкодно.

Безпека

У голосових діалогах безпека також важлива. Особливо в реальному часі модель повинна не лише розуміти, що говорить користувач, але й обробляти такі складні ризики, як тон, емоції, перебивання та послідовні запитання.

Для цього OpenAI на основі існуючих заходів безпеки провела спеціалізоване навчання для ключових сфер ризику та розробила окремий набір захисних заходів для голосових сценаріїв.

Щодо тестування безпеки, OpenAI розширила оцінку аудіо-нативних моделей, додавши зразки голосів реальних користувачів та комплексно згенеровані аудіо-підказки в таких сферах, як самопошкодження, психічні розлади та манія, емоційна залежність від ШІ, насильство та сексуальний контент.

Внутрішні експерти також провели red-teaming моделі на предмет специфічних для голосу ризиків.

У комплексній оцінці GPT-Live-1 значно покращився порівняно з Advanced Voice Mode у кількох сферах: запобігання незаконним діям зросло з 0,63 до 0,97, запобігання самопошкодженню з 0,72 до 0,98, запобігання мові ненависті з 0,87 до 1,00.

В оцінці більш невизначених підказок GPT-Live-1 є порівнянним або кращим за Advanced Voice Mode у більшості категорій, але в сфері емоційної залежності він незначно знизився з 0,88 до 0,82. OpenAI зазначає, що ця зміна статистично незначна.

Що стосується захисту в реальному часі, коли система виявляє потенційно небезпечний вихід, вона може втрутитися під час мовлення моделі, спрямовуючи її до більш безпечної відповіді, відображаючи додаткову інформацію або ресурси безпеки, або в разі високого ризику завершити голосовий діалог.

Наприклад, для тем, пов'язаних із самопошкодженням, процес підтримки ChatGPT було адаптовано до голосового середовища, включаючи надання експертно-перевірених кризових гарячих ліній.

Що стосується захисту підлітків, OpenAI розробила додаткові заходи, навчаючи модель віково-відповідній поведінці. Батьки можуть за допомогою батьківського контролю вирішувати, чи можуть підлітки використовувати голос ChatGPT, і у випадках високого ризику пов'язаний батько може отримати сповіщення.

Варто зазначити, що OpenAI запровадила довгострокове вимірювання та моніторинг після випуску щодо емоційної залежності, ґрунтуючись на попередніх дослідженнях емоційного використання та емоційного благополуччя. Це є визнанням того, що сама природність діалогу, до якої прагне GPT-Live, може створити нові ризики.

Крім того, GPT-Live використовує попередньо визначені голоси в ChatGPT і має захисні заходи, що запобігають імітації реальних людських голосів.

Передумовою цієї заяви є суперечка, що виникла під час випуску GPT-4o у травні 2024 року, коли голос «Sky» виявився схожим на голос актриси Скарлетт Йоханссон. Тоді Йоханссон заявила, що відмовилася від пропозиції озвучити голосову систему, і після запуску продукту вона відчула «шок, гнів і недовіру». OpenAI згодом видалила цей голос і вибачилася.

Три покоління еволюції

Наразі повнодуплексна голосова взаємодія швидко стає стандартом для споживчих ШІ-продуктів.

Google Gemini Live вже підтримує повнодуплексний діалог, а також функції камери та спільного доступу до екрану, які GPT-Live на момент випуску ще не підтримував. У березні Google випустила Gemini 3.1 Flash Live, що забезпечує низькозатримкову голосову взаємодію для розробників. Також NVIDIA в січні випустила PersonaPlex, яка привносить настроювані голоси та контроль персонажів у повнодуплексні моделі.

Повертаючись до еволюції голосової технології ChatGPT за останні приблизно два роки, можна виділити три покоління.

Початкова голосова функція ChatGPT була представлена в 2023 році, використовуючи каскадну систему, що з'єднувала три моделі: модель перетворення мовлення в текст для транскрибування мовлення, велику мовну модель для генерації текстових відповідей і модель перетворення тексту в мовлення для перетворення відповіді назад в аудіо.

У цій архітектурі OpenAI використовувала модель розпізнавання мовлення Whisper для етапу перетворення мовлення в текст, базову мовну модель GPT-4, а остаточний синтез мовлення виконувався супутньою моделлю TTS.

Цей метод вперше дозволив спілкуватися з передовими ШІ-моделями, але з явною ціною: кожна передача додавала затримки та могла втрачати інформацію, відповіді були повільними та негнучкими.

Тому в травні 2024 року OpenAI випустила GPT-4o, свою першу нативну мультимодальну модель, здатну безпосередньо обробляти аудіо-вхід і вихід, більше не потребуючи зовнішніх модулів перетворення мовлення в текст і тексту в мовлення. Advanced Voice Mode, побудований на GPT-4o, був обмежено відкритий для платних користувачів у липні 2024 року, а ширше – у вересні.

Але він все ще працював у дискретних раундах: модель повинна була чекати, поки користувач перестане говорити, щоб відповісти. Виявлення раунду базувалося на тиші, і короткі паузи або фоновий шум могли бути помилково прийняті за закінчення висловлювання, що призводило до переривання моделі в невідповідний момент.

Тепер GPT-Live вирішує цю проблему за допомогою повнодуплексної архітектури, дозволяючи генерувати вихідні дані, одночасно безперервно обробляючи вхідні дані. Модель може приймати кілька рішень про взаємодію кожну секунду: говорити, продовжувати слухати, робити паузу, перебивати або викликати інструменти.

Це дозволяє моделі природно вставляти підтвердження в діалог, розпізнавати природні паузи, не втручаючись завчасно, і обробляти швидкі переривання, не збиваючи розмову.

Коли вам потрібна мить на роздуми, ChatGPT чекатиме, а не втручатиметься, перебиваючи. При фоновому шумі, такому як рух транспорту або розмови поруч, ChatGPT краще зосереджується на голосі користувача.

Від двох років тому, коли треба було говорити в мікрофон і чекати майже дві секунди, щоб отримати незграбну відповідь, до рік тому більш плавного, але все ще почергового досвіду, і до сьогоднішньої повнодуплексної взаємодії, наближеної до реальної розмови, траєкторія технологічної еволюції очевидна.

GPT-Live, можливо, не є кінцевою точкою, але він робить цю точку значно ближчою.