OpenAI otorga "vista" a su IA de voz

Autor: Li Hailun, Tencent Technology

En la madrugada del 9 de julio, hora de Pekín, OpenAI lanzó oficialmente la nueva generación de modelos de voz GPT-Live, que incluye dos versiones: GPT-Live-1 y GPT-Live-1 mini, compatibles con la función de voz de ChatGPT.

La mejora principal de GPT-Live es la "arquitectura full-duplex", que enfatiza la comprensión de la voz AI en la forma de conversación. El modelo puede manejar la escucha y el habla simultáneamente, durante la conversación puede indicar que está escuchando mediante frases cortas, admite intercambios rápidos de turno y también puede permanecer en silencio mientras el usuario piensa.

Se acerca más al estado de una conversación humana real, añadiendo un poco de sentido de la medida en la interacción.

OpenAI lo dijo oficialmente: "Durante la conversación, GPT-Live puede responder con 'mmm', 'yeah' para indicar que está escuchando, y también puede hacer intercambios rápidos; cuando necesitas un momento para pensar, puede permanecer en silencio. El resultado final es una experiencia de interacción de voz más relajada y natural".

Cuando se encuentra con tareas que requieren búsqueda en la web, razonamiento profundo o tareas complejas, GPT-Live delega el trabajo al modelo de última generación en segundo plano, y trae la conversación de vuelta cuando los resultados están listos, manteniendo la conversación sin interrupciones.

Inicialmente, el modelo en segundo plano es GPT-5.5, y OpenAI dijo que continuará actualizando el soporte subyacente con el lanzamiento de nuevos modelos.

Charla y trabajo simultáneos

Anteriormente, GPT se basaba en un sistema de transmisión de audio de baja latencia: el usuario habla, el modelo entiende y responde rápidamente; si el usuario interrumpe, el modelo se detiene a tiempo.

La mejora más crucial de GPT-Live esta vez es separar la interacción de voz y el razonamiento profundo en dos procesos independientes.

Cuando el usuario propone tareas que requieren búsqueda, razonamiento o invocación de capacidades de agente más potentes, GPT-Live entrega la tarea al modelo en segundo plano, mientras que el modelo de voz en primer plano continúa manteniendo la conversación con el usuario, evitando en la medida de lo posible interrumpir el ritmo de la comunicación.

Este "modo de delegación" es esencialmente una división arquitectónica: el primer plano utiliza un modelo nativo de voz optimizado para la interacción en tiempo real para manejar la conversación, las pausas y mantener una conversación natural; el segundo plano utiliza un modelo de razonamiento independiente para la búsqueda, el cálculo, la invocación de herramientas y la ejecución de tareas complejas.

Ambos funcionan por separado, el motor de razonamiento se puede cambiar en cualquier momento a medida que avanza la tecnología, y la experiencia del modelo de voz se puede actualizar sin necesidad de reentrenamiento.

Para aplicaciones empresariales, el valor de la arquitectura full-duplex radica en que el agente de voz puede completar tareas de consulta de bases de datos, búsqueda en la web, razonamiento de múltiples pasos, etc., sin interrumpir el ritmo de la conversación. Anteriormente, estas operaciones solían causar varios segundos de silencio, haciendo que el usuario notara claramente que "el sistema está procesando". Ahora, pueden ocultarse en un ritmo de comunicación más natural.

Los datos de evaluación reflejan la efectividad del diseño separado.

Según la introducción oficial, en la comparación directa entre GPT-Live-1 y el Modo de Voz Avanzado (Advanced Voice Mode), el primero lideró significativamente en preferencia general, turnos de habla, interrupciones, fluidez de la conversación y naturalidad de cada interacción en conversaciones de 5 a 10 minutos, con una preferencia general del 75,7%.

En la prueba de fluidez de conversación, GPT-Live-1 obtuvo 4,96 puntos, mientras que el Modo de Voz Avanzado obtuvo 3,80 puntos. En cuanto a agrado, GPT-Live-1 obtuvo 5,19 puntos, frente a los 3,82 puntos del Modo de Voz Avanzado.

En la prueba de capacidad de razonamiento científico experto GPQA, el Modo de Voz Avanzado obtuvo un 45,3%, GPT-Live-1 (high) alcanzó un 84,2%, y GPT-Live-1 mini un 74,9%. En la prueba de búsqueda en la web con agente BrowseComp, el Modo de Voz Avanzado solo obtuvo un 0,7%, GPT-Live-1 (high) alcanzó un 75,2%, y GPT-Live-1 mini un 31,6%.

La brecha es tan evidente que demuestra la efectividad de la estrategia de delegar tareas de razonamiento al modelo de última generación en segundo plano.

Además, OpenAI dijo que también ha regrabado las nueve voces de ChatGPT para GPT-Live.

Los usuarios ahora pueden elegir tres niveles de razonamiento para las respuestas: modo instantáneo para respuestas rápidas, y modos medio y alto para escenarios que requieren más reflexión.

Durante la conversación, ChatGPT puede mostrar tarjetas visuales sobre temas como clima, acciones, deportes, etc., permitiendo a los usuarios navegar mientras conversan. La función de voz sigue siendo compatible con búsqueda, memoria, imágenes y carga de archivos.

Desde una perspectiva de evolución del producto, la voz de ChatGPT ha pasado de ser una función básica a una experiencia de producto independiente. Los usuarios la utilizan para practicar idiomas, contar cuentos para dormir, chatear durante los desplazamientos u obtener ayuda diaria manos libres.

El lanzamiento de GPT-Live acerca esta experiencia aún más a la visión descrita por OpenAI: colaborar con la IA es tan fluido y sensible como colaborar con una persona real, mientras que el razonamiento y las tareas complejas se realizan sin problemas en segundo plano.

Protección de seguridad

En las conversaciones de voz, los límites de seguridad también son importantes. Especialmente en conversaciones en tiempo real, el modelo no solo debe juzgar lo que dice el usuario, sino también manejar los riesgos complejos que conllevan el tono, las emociones, las interrupciones y las preguntas consecutivas.

Para ello, OpenAI, basándose en el trabajo de seguridad existente, ha realizado un entrenamiento especializado en áreas de riesgo clave y ha diseñado un conjunto de medidas de protección específicas para el entorno de voz.

En cuanto a las pruebas de seguridad, OpenAI amplió las evaluaciones nativas de audio, incorporando muestras de voz de usuarios reales y avisos de audio generados de manera integral en áreas como autolesiones, psicosis y manía, dependencia emocional de la IA, violencia y contenido sexual.

Expertos internos también realizaron pruebas de equipo rojo al modelo específicamente para riesgos propios de la voz.

En la evaluación integral, GPT-Live-1 mostró mejoras significativas en varias áreas en comparación con el Modo de Voz Avanzado: la puntuación para prevenir comportamientos ilegales aumentó de 0,63 a 0,97, la prevención de autolesiones de 0,72 a 0,98, y la prevención de discursos de odio de 0,87 a 1,00.

En la evaluación de avisos de producción más ambiguos, GPT-Live-1 fue comparable o mejor que el Modo de Voz Avanzado en la mayoría de las categorías, pero en el área de dependencia emocional disminuyó ligeramente de 0,88 a 0,82, y OpenAI señaló que este cambio no es estadísticamente significativo.

En cuanto a la protección en tiempo real, cuando el sistema detecta una salida potencialmente insegura, puede intervenir mientras el modelo está hablando, guiándolo hacia una respuesta más segura, mostrando información o recursos de seguridad adicionales, o finalizando la conversación de voz en casos de alto riesgo.

Por ejemplo, para temas relacionados con "autolesiones", el flujo de soporte de ChatGPT se ha ajustado según el entorno de voz, incluido el apoyo de líneas de crisis revisadas por expertos.

En cuanto a la protección de adolescentes, OpenAI ha diseñado medidas adicionales y ha entrenado al modelo con un comportamiento apropiado para la edad. Los padres pueden decidir si los adolescentes usan la voz de ChatGPT a través de controles parentales, y los padres asociados pueden recibir notificaciones en situaciones de alto riesgo.

Vale la pena señalar que OpenAI ha introducido una medición a largo plazo y un monitoreo posterior al lanzamiento para la dependencia emocional, basado en investigaciones previas sobre el uso emocional y el bienestar emocional. Esto es un reconocimiento de que la naturalidad conversacional que persigue GPT-Live puede introducir nuevos riesgos.

Además, GPT-Live utiliza voces predefinidas de ChatGPT y cuenta con medidas de protección para evitar la imitación de voces humanas reales.

El contexto de esta declaración es la controversia surgida durante el lanzamiento de GPT-4o en mayo de 2024, cuando la voz "Sky" se parecía a la voz de la actriz Scarlett Johansson. Johansson dijo en ese momento que había rechazado la invitación para dar voz al sistema de voz, y que después del lanzamiento del producto se sintió "impactada, enojada e incrédula". OpenAI luego eliminó esa voz y se disculpó.

Tres generaciones de evolución

Actualmente, la interacción de voz full-duplex se está convirtiendo rápidamente en un estándar para los productos de consumo de IA.

Google Gemini Live ya admite conversación full-duplex y funciones de cámara y pantalla compartida, las dos últimas no son compatibles en el lanzamiento de GPT-Live. Google lanzó Gemini 3.1 Flash Live en marzo, ofreciendo interacción de voz de baja latencia para desarrolladores. Además, PersonaPlex de NVIDIA, lanzado en enero, lleva la personalización de voz y el control de personajes al modelo full-duplex.

Repasemos la evolución de tres generaciones de la tecnología de voz de ChatGPT en aproximadamente dos años.

La función de voz original de ChatGPT se lanzó en 2023, utilizando un sistema en cascada que conectaba tres modelos: un modelo de voz a texto que transcribía la voz a texto, un modelo de lenguaje grande que generaba una respuesta de texto, y un modelo de texto a voz que convertía la respuesta de nuevo a audio.

En esta arquitectura, OpenAI utilizó el modelo de reconocimiento de voz Whisper para la parte de voz a texto, el modelo de lenguaje subyacente era GPT-4, y la síntesis de voz final se realizaba con el modelo TTS complementario.

Este método permitió por primera vez conversar con modelos de IA de vanguardia, pero con un costo evidente: cada transferencia introducía latencia y podía perder información, la respuesta era lenta y rígida.

Así que en mayo de 2024, OpenAI lanzó GPT-4o, el primer modelo nativo multimodal de la compañía, capaz de procesar directamente entrada y salida de audio, sin necesidad de módulos externos de voz a texto y texto a voz. El Modo de Voz Avanzado basado en GPT-4o se lanzó de forma "limitada" para usuarios de pago en julio de 2024 y se amplió en septiembre.

Pero aún funcionaba en rondas discretas: el modelo tenía que esperar a que el usuario dejara de hablar para responder. La detección de turnos se basaba en el silencio, y las pausas breves o el ruido de fondo podían malinterpretarse como el final de la intervención, haciendo que el modelo interrumpiera en momentos inoportunos.

Ahora, GPT-Live resuelve este problema con la arquitectura full-duplex, que puede generar salida mientras procesa entrada de forma continua. El modelo puede tomar múltiples decisiones de interacción por segundo: hablar, seguir escuchando, hacer una pausa, interrumpir o invocar una herramienta.

Esto permite que el modelo inserte confirmaciones conversacionales naturales, reconozca pausas naturales sin intervenir prematuramente, y maneje interrupciones rápidas sin descarrilar la comunicación.

Cuando necesitas un momento para pensar, ChatGPT espera en lugar de saltar e interrumpir. En presencia de ruido de fondo como tráfico o conversaciones cercanas, ChatGPT puede enfocarse mejor en la voz del usuario.

Desde hablar al micrófono hace dos años y esperar casi dos segundos para obtener una respuesta rígida, hasta la experiencia más fluida pero aún con turnos hace un año, y ahora la interacción full-duplex cercana a una conversación real, la trayectoria de la evolución técnica es claramente visible.

GPT-Live puede no ser el punto final, pero hace que el punto final parezca más cercano.