OpenAI ajoute un « œil » à son IA vocale

Auteur : Li Hailun, Tencent Tech

Le 9 juillet, à l'aube, OpenAI a officiellement lancé la nouvelle série de modèles vocaux GPT-Live, comprenant deux versions : GPT-Live-1 et GPT-Live-1 mini, prenant en charge la fonction vocale de ChatGPT.

L'amélioration principale de GPT-Live réside dans son « architecture full-duplex », qui met l'accent sur la compréhension de l'IA vocale dans la manière de dialoguer. Le modèle peut traiter simultanément l'écoute et la parole, utiliser des interjections pour montrer qu'il écoute pendant la conversation, prendre la parole rapidement alternativement, et rester silencieux lorsque l'utilisateur réfléchit.

Il se rapproche davantage de l'état d'une conversation réelle, ajoutant une certaine subtilité dans les échanges.

OpenAI le décrit ainsi : « Dans la conversation, GPT-Live peut répondre par des 'mmm', 'yeah' pour indiquer qu'il écoute, et peut aussi échanger rapidement ; quand vous avez besoin de temps pour réfléchir, il peut rester silencieux. Ce qui en résulte est une expérience d'interaction vocale plus détendue et naturelle. »

Lorsqu'il rencontre des tâches nécessitant une recherche en ligne, un raisonnement approfondi ou des opérations complexes, GPT-Live délègue le travail au modèle avancé en arrière-plan, puis ramène les résultats dans la conversation sans interrompre l'échange.

Au lancement, le modèle en arrière-plan est GPT-5.5 ; OpenAI indique qu'il sera mis à jour en continu avec les nouvelles versions de modèles.

Travailler tout en discutant

Auparavant, GPT reposait sur un système audio en temps réel à faible latence : l'utilisateur parle, le modèle comprend rapidement et répond ; l'utilisateur interrompt, le modèle s'arrête immédiatement.

La mise à jour cruciale de GPT-Live est de séparer l'interaction vocale du raisonnement approfondi en deux modules indépendants.

Lorsque l'utilisateur demande une recherche, un raisonnement ou l'appel de capacités agentiques plus puissantes, GPT-Live confie la tâche au modèle d'arrière-plan, tandis que le modèle vocal de premier plan continue la conversation avec l'utilisateur, évitant autant que possible de casser le rythme de l'échange.

Ce « mode de délégation » est essentiellement une architecture divisée : en premier plan, un modèle vocal natif optimisé pour l'interaction en temps réel est responsable des réponses, des pauses et du maintien d'une conversation naturelle ; en arrière-plan, un modèle de raisonnement indépendant s'occupe de la recherche, du calcul, de l'appel d'outils et de l'exécution de tâches complexes.

Les deux fonctionnent séparément, le moteur de raisonnement peut être remplacé à tout moment avec les progrès technologiques, et l'expérience vocale peut être mise à niveau sans nécessiter de reconception.

Pour les applications d'entreprise, la valeur de l'architecture full-duplex réside dans la capacité des agents vocaux à effectuer des tâches en arrière-plan – requêtes de base de données, recherche en ligne, raisonnement multi-étapes – sans interrompre le rythme de la conversation. Auparavant, ces opérations entraînaient souvent plusieurs secondes de silence, faisant sentir à l'utilisateur que « le système est en train de traiter ». Désormais, elles peuvent être intégrées naturellement dans un rythme de conversation plus fluide.

Les données d'évaluation reflètent l'efficacité de cette conception séparée.

Selon les informations officielles, dans une comparaison directe entre GPT-Live-1 et l'Advanced Voice Mode, le premier est nettement supérieur dans les préférences globales, l'alternance de parole, l'interruption, la fluidité de la conversation et la naturalité de chaque interaction lors de conversations de 5 à 10 minutes, avec une préférence globale de 75,7 %.

Lors du test de fluidité de conversation, GPT-Live-1 obtient 4,96 points, contre 3,80 pour l'Advanced Voice Mode. En termes de plaisir, GPT-Live-1 obtient 5,19 points, contre 3,82 pour l'Advanced Voice Mode.

Au test de raisonnement scientifique expert GPQA, l'Advanced Voice Mode obtient 45,3 %, GPT-Live-1 (high) atteint 84,2 %, et GPT-Live-1 mini 74,9 %.

Au test de recherche web agentique BrowseComp, l'Advanced Voice Mode obtient seulement 0,7 %, GPT-Live-1 (high) atteint 75,2 %, et GPT-Live-1 mini 31,6 %.

Un écart aussi marqué montre que la stratégie de confier les tâches de raisonnement au modèle avancé en arrière-plan est effectivement efficace.

De plus, OpenAI annonce avoir réenregistré les neuf voix de ChatGPT pour GPT-Live.

Les utilisateurs peuvent désormais choisir trois niveaux de raisonnement pour les réponses : mode instantané pour des réponses rapides, modes moyen et élevé pour les scénarios nécessitant plus de réflexion.

Pendant la conversation, ChatGPT peut afficher des cartes visuelles sur des thèmes comme la météo, les actions, le sport, permettant à l'utilisateur de discuter tout en consultant. La fonction vocale continue de prendre en charge la recherche, la mémoire, les images et le téléchargement de fichiers.

En termes d'évolution produit, la voix de ChatGPT est passée d'une fonctionnalité de base à une expérience produit indépendante. Les utilisateurs l'utilisent pour pratiquer une langue, raconter des histoires avant le coucher, discuter pendant les trajets ou obtenir une aide quotidienne mains libres.

Le lancement de GPT-Live rapproche encore cette expérience de la vision décrite par OpenAI : une collaboration avec l'IA aussi fluide et réactive qu'avec un humain, tandis que le raisonnement et les tâches complexes se déroulent en arrière-plan de manière transparente.

Protection de la sécurité

Dans les conversations vocales, les limites de sécurité sont également cruciales. Surtout en conversation en temps réel, le modèle doit non seulement juger ce que dit l'utilisateur, mais aussi gérer les risques complexes liés au ton, aux émotions, aux interruptions et aux questions répétées.

Pour cela, OpenAI a effectué un entraînement spécifique dans les domaines de risque clés, en s'appuyant sur ses travaux de sécurité existants, et a conçu un ensemble de mesures de protection propres aux scénarios vocaux.

Côté tests de sécurité, OpenAI a élargi l'évaluation audio native en y ajoutant des échantillons de voix réelles d'utilisateurs et des invites audio générées de manière synthétique dans des domaines comme l'automutilation, la psychose et la manie, la dépendance affective à l'IA, la violence et le contenu sexuel.

Des experts internes ont également effectué des tests de red teaming ciblés sur les risques propres à la voix.

Dans l'évaluation globale, GPT-Live-1 a montré une amélioration significative par rapport à l'Advanced Voice Mode dans plusieurs domaines : la prévention des actes illégaux passe de 0,63 à 0,97, la prévention de l'automutilation de 0,72 à 0,98, la prévention des discours haineux de 0,87 à 1,00.

Dans l'évaluation d'invites de production plus floues, GPT-Live-1 est comparable ou supérieur à l'Advanced Voice Mode dans la plupart des catégories, mais dans le domaine de la dépendance affective, il baisse légèrement de 0,88 à 0,82 ; OpenAI précise que ce changement n'est pas statistiquement significatif.

Côté protection en temps réel, lorsque le système détecte une sortie potentiellement dangereuse, il peut intervenir pendant que le modèle parle pour orienter vers une réponse plus sûre, afficher des informations ou ressources de sécurité supplémentaires, ou mettre fin à la conversation vocale si le risque est élevé.

Par exemple, sur les sujets d'« automutilation », le processus d'assistance de ChatGPT a été adapté au contexte vocal, notamment en fournissant une ligne d'urgence pour les crises examinée par des experts.

Pour la protection des jeunes, OpenAI a conçu des mesures supplémentaires, en entraînant le modèle à un comportement adapté à l'âge. Les parents peuvent décider, via les contrôles parentaux, si les jeunes utilisent la voix de ChatGPT, et en cas de risque élevé, un parent peut être notifié.

Il est à noter qu'OpenAI a introduit une mesure à long terme et une surveillance post-lancement de la dépendance affective, basée sur des recherches précédentes sur l'usage affectif et le bien-être émotionnel. C'est une reconnaissance que la naturalité conversationnelle recherchée par GPT-Live peut elle-même entraîner de nouveaux risques.

De plus, GPT-Live utilise des voix prédéfinies dans ChatGPT, avec des mesures de protection contre l'imitation de voix humaines réelles.

Ce contexte fait suite à la controverse de mai 2024 lors du lancement de GPT-4o, où la voix « Sky » ressemblait à celle de l'actrice Scarlett Johansson. Celle-ci avait alors déclaré avoir refusé une invitation à prêter sa voix, et s'est dite « choquée, en colère et incrédule » après le lancement. OpenAI a ensuite retiré cette voix et présenté ses excuses.

Trois générations d'évolution

Actuellement, l'interaction vocale full-duplex devient rapidement un standard des produits grand public en IA.

Google Gemini Live prend déjà en charge le dialogue full-duplex ainsi que le partage d'écran et de caméra, deux fonctionnalités non disponibles au lancement de GPT-Live. Google a publié Gemini 3.1 Flash Live en mars à destination des développeurs, offrant une interaction vocale à faible latence. Nvidia, en janvier, a dévoilé PersonaPlex, apportant des voix personnalisables et un contrôle des personnages aux modèles full-duplex.

Revenons sur l'évolution de la technologie vocale de ChatGPT en environ deux ans, à travers trois générations.

La fonction vocale initiale de ChatGPT a été lancée en 2023, utilisant un système en cascade reliant trois modèles : un modèle de reconnaissance vocale transcrivant la parole en texte, un grand modèle de langage générant une réponse textuelle, et un modèle de synthèse vocale convertissant la réponse en audio.

Dans cette architecture, OpenAI utilisait Whisper pour la transcription vocale, GPT-4 comme modèle de langage sous-jacent, et un modèle TTS associé pour la synthèse finale.

Cette approche a pour la première fois permis de dialoguer avec un modèle d'IA de pointe, mais au prix de retards et de pertes d'informations à chaque transfert, avec des réponses lentes et mécaniques.

En mai 2024, OpenAI a donc lancé GPT-4o, le premier modèle natif multimodal de l'entreprise, capable de traiter directement l'entrée et la sortie audio, sans nécessiter de modules séparés de reconnaissance et de synthèse vocales. Le mode vocal avancé basé sur GPT-4o a été proposé aux utilisateurs payants en juillet 2024 de manière « limitée », puis plus largement en septembre.

Cependant, il fonctionnait encore par tours discrets : le modèle devait attendre que l'utilisateur cesse de parler pour répondre. La détection de fin de tour reposait sur le silence, ce qui pouvait entraîner des erreurs lors de pauses brèves ou de bruits de fond, conduisant le modèle à interrompre à un moment inapproprié.

Aujourd'hui, GPT-Live résout ce problème avec une architecture full-duplex, capable de générer une sortie tout en traitant l'entrée en continu. Le modèle peut prendre plusieurs décisions d'interaction par seconde : parler, continuer à écouter, faire une pause, interrompre ou appeler un outil.

Cela permet au modèle d'insérer naturellement des confirmations conversationnelles, de reconnaître les pauses naturelles sans intervenir prématurément, et de gérer les interruptions rapides sans faire dérailler l'échange.

Lorsque vous avez besoin d'un moment de réflexion, ChatGPT attend sans intervenir. Dans un environnement bruyant (circulation, conversations environnantes), ChatGPT parvient mieux à se concentrer sur la voix de l'utilisateur.

Il y a deux ans, il fallait dicter dans le micro et attendre près de deux secondes pour une réponse mécanique ; il y a un an, l'expérience était plus fluide mais restait à tour de rôle ; aujourd'hui, l'interaction full-duplex se rapproche d'une conversation réelle. La trajectoire de l'évolution technique est claire.

GPT-Live n'est peut-être pas la fin, mais il la rend plus proche.