OpenAI adiciona "percepção visual" à sua IA de voz.

Autor: Li Hailun, Tencent Technology

Na madrugada do dia 9 de julho, horário de Pequim, a OpenAI lançou oficialmente a nova geração de modelos de voz, a série GPT-Live, com duas versões: GPT-Live-1 e GPT-Live-1 mini, ambas dando suporte ao recurso de voz do ChatGPT.

A principal melhoria do GPT-Live é a "arquitetura full-duplex", com foco na compreensão do diálogo por parte da IA de voz. O modelo pode processar escuta e fala simultaneamente, usando frases curtas para indicar que está ouvindo, permite trocas rápidas de fala e permanece em silêncio enquanto o usuário pensa.

Ele se aproxima mais de uma conversa humana real, adicionando um toque de tato nas interações.

A OpenAI declarou oficialmente: "Durante a conversa, o GPT-Live pode usar respostas como 'um-hum' e 'sim' para indicar que está ouvindo, além de permitir trocas rápidas; quando você precisa de um momento para pensar, ele também pode ficar em silêncio. O resultado é uma experiência de interação por voz mais leve e natural."

Quando são necessárias pesquisas na web, raciocínio profundo ou tarefas complexas, o GPT-Live delega o trabalho a modelos de ponta em segundo plano, trazendo os resultados de volta à conversa sem interrompê-la.

No lançamento, o modelo em segundo plano é o GPT-5.5, e a OpenAI afirma que continuará atualizando o suporte subjacente com o lançamento de novos modelos.

Conversar e trabalhar ao mesmo tempo

Antes, o GPT era centrado em recursos de voz em tempo real, apoiado por um sistema de áudio de baixa latência: o usuário fala, o modelo entende e responde rapidamente; o usuário interrompe, o modelo para prontamente.

A principal atualização do GPT-Live é separar a interação por voz do raciocínio profundo em duas etapas independentes.

Quando o usuário faz uma solicitação que exige pesquisa, raciocínio ou ativação de recursos de agente mais poderosos, o GPT-Live envia a tarefa para o modelo em segundo plano, enquanto o modelo de voz em primeiro plano continua conversando com o usuário, evitando ao máximo interromper o ritmo da conversa.

Esse "modo de delegação" é essencialmente uma divisão de arquitetura: o front-end utiliza um modelo de voz nativo otimizado para interação em tempo real para gerenciar respostas, pausas e manter uma conversa natural; o back-end usa um modelo de raciocínio independente para pesquisar, calcular, executar ferramentas e realizar tarefas complexas.

Com essa separação, o motor de raciocínio pode ser trocado a qualquer momento com os avanços tecnológicos, enquanto a experiência do modelo de voz é atualizada sem necessidade de retreinamento.

Para aplicações empresariais, o valor da arquitetura full-duplex está no agente de voz poder concluir tarefas em segundo plano, como consultar bancos de dados, pesquisar na web e realizar raciocínios de várias etapas, sem interromper o fluxo da conversa. Antes, essas operações geravam segundos de silêncio, deixando claro que o "sistema estava processando". Agora, elas podem ser ocultadas em um ritmo mais natural de comunicação.

Os dados de avaliação refletem a eficácia do design separado.

Segundo informações oficiais, na comparação direta entre o GPT-Live-1 e o Advanced Voice Mode, o primeiro lidera significativamente em preferência geral, alternância de turnos, interrupção, fluidez da conversa e naturalidade de cada interação em diálogos de 5 a 10 minutos, com preferência geral de 75,7%.

No teste de fluidez de conversa, o GPT-Live-1 obteve 4,96 pontos, contra 3,80 do Advanced Voice Mode. Em prazer na interação, o GPT-Live-1 atingiu 5,19 pontos, contra 3,82 do Advanced Voice Mode.

No teste de raciocínio científico de nível especializado (GPQA), o Advanced Voice Mode obteve 45,3%, enquanto o GPT-Live-1 (high) chegou a 84,2% e o GPT-Live-1 mini a 74,9%.

No teste de pesquisa em agentes na web (BrowseComp), o Advanced Voice Mode alcançou apenas 0,7%, enquanto o GPT-Live-1 (high) atingiu 75,2% e o GPT-Live-1 mini 31,6%.

Uma diferença tão grande mostra que a estratégia de delegar tarefas de raciocínio a modelos de ponta em segundo plano é realmente eficaz.

Além disso, a OpenAI afirma ter regravado as nove vozes do ChatGPT para o GPT-Live.

Os usuários agora podem escolher três níveis de raciocínio para as respostas: modo instantâneo para respostas rápidas, e modos médio e intenso para cenários que exigem mais reflexão.

Durante a conversa, o ChatGPT pode exibir cartões visuais sobre temas como clima, ações e esportes, permitindo que o usuário navegue enquanto conversa. O recurso de voz continua oferecendo suporte a pesquisa, memória, imagens e upload de arquivos.

Do ponto de vista da evolução do produto, a voz do ChatGPT deixou de ser um recurso básico para se tornar uma experiência independente. Os usuários a utilizam para praticar idiomas, contar histórias para dormir, conversar durante deslocamentos ou obter ajuda prática sem usar as mãos.

O lançamento do GPT-Live aproxima essa experiência da visão descrita pela OpenAI: colaborar com IA tão fluida e responsiva quanto com um humano real, enquanto raciocínio e tarefas complexas ocorrem em segundo plano de forma integrada.

Proteção de segurança

Em conversas por voz, os limites de segurança também são importantes. Especialmente em diálogos em tempo real, o modelo não precisa apenas julgar o que o usuário disse, mas também lidar com riscos complexos decorrentes de tom, emoção, interrupções e perguntas consecutivas.

Para isso, a OpenAI, com base em trabalhos de segurança existentes, realizou treinamentos específicos para áreas de risco crítico e desenvolveu um conjunto separado de medidas de proteção para o contexto de voz.

Em testes de segurança, a OpenAI expandiu as avaliações nativas de áudio, incluindo amostras de voz reais de usuários e prompts de áudio gerados de forma abrangente para áreas como automutilação, psicose e mania, dependência emocional de IA, violência e conteúdo sexual.

Especialistas internos também realizaram testes de red team específicos para riscos relacionados à voz.

Na avaliação geral, o GPT-Live-1 mostrou melhorias significativas em várias áreas em comparação com o Advanced Voice Mode: pontuação de prevenção de atividades ilegais subiu de 0,63 para 0,97; prevenção de automutilação de 0,72 para 0,98; prevenção de discurso de ódio de 0,87 para 1,00.

Em avaliações com prompts de produção mais ambíguos, o GPT-Live-1 foi comparável ou superior ao Advanced Voice Mode na maioria das categorias, mas na área de dependência emocional houve uma leve queda de 0,88 para 0,82, que a OpenAI ressalta não ser estatisticamente significativa.

Em termos de proteção em tempo real, quando o sistema detecta uma saída potencialmente insegura, ele pode intervir enquanto o modelo está falando, direcionando para uma resposta mais segura, exibindo informações ou recursos de segurança adicionais ou, em casos de alto risco, encerrando a conversa por voz.

Por exemplo, em tópicos envolvendo automutilação, o fluxo de suporte do ChatGPT foi ajustado para o ambiente de voz, incluindo suporte a linhas de crise revisadas por especialistas.

Quanto à proteção de adolescentes, a OpenAI projetou medidas adicionais, treinando o modelo com comportamentos apropriados para a idade. Pais podem usar controles parentais para decidir se adolescentes utilizam a voz do ChatGPT, e em situações de alto risco, os pais associados podem receber notificações.

Vale destacar que a OpenAI introduziu medições de longo prazo e monitoramento pós-lançamento para dependência emocional, com base em pesquisas anteriores sobre uso emocional e bem-estar. Isso é um reconhecimento de que a naturalidade de conversa que o GPT-Live busca pode trazer novos riscos.

Além disso, o GPT-Live usa vozes predefinidas do ChatGPT, com medidas para evitar imitação de vozes humanas reais.

Esse anúncio vem na esteira da controvérsia de maio de 2024, quando a voz "Sky" do GPT-4o se assemelhava à voz da atriz Scarlett Johansson. Johansson afirmou na época que recusou o convite para dublar o sistema, e ficou "chocada, irritada e incrédula" com o lançamento. A OpenAI posteriormente removeu a voz e se desculpou.

Três gerações de evolução

Atualmente, a interação por voz full-duplex está rapidamente se tornando padrão em produtos de IA para consumo.

O Gemini Live do Google já suporta conversa full-duplex e compartilhamento de tela e câmera, dois recursos que o GPT-Live ainda não suporta no lançamento. Em março, o Google lançou o Gemini 3.1 Flash Live, oferecendo interação por voz de baixa latência para desenvolvedores. A NVIDIA também lançou o PersonaPlex em janeiro, trazendo voz personalizável e controle de personagens para modelos full-duplex.

Vamos revisar as três gerações de evolução da tecnologia de voz do ChatGPT em aproximadamente dois anos.

O recurso de voz inicial do ChatGPT foi lançado em 2023, usando um sistema em cascata, com três modelos em série: um modelo de fala para texto transcrevia a fala, um grande modelo de linguagem gerava resposta em texto, e um modelo de texto para fala convertia a resposta de volta em áudio.

Nessa arquitetura, a OpenAI usava o modelo de reconhecimento de fala Whisper na etapa de fala para texto, o modelo de linguagem subjacente era o GPT-4, e a síntese final era feita pelo modelo TTS correspondente.

Esse método possibilitou pela primeira vez conversar com modelos de IA de ponta, mas com custos evidentes: cada transição introduzia latência e podia perder informações, resultando em respostas lentas e mecânicas.

Em maio de 2024, a OpenAI lançou o GPT-4o, seu primeiro modelo multimodal nativo, capaz de processar diretamente entrada e saída de áudio, sem a necessidade de módulos externos de fala para texto e texto para fala. O Advanced Voice Mode, construído sobre o GPT-4o, foi lançado em julho de 2024 de forma "limitada" para usuários pagantes, com disponibilidade mais ampla em setembro.

No entanto, ele ainda operava em turnos discretos: o modelo precisava esperar o usuário parar de falar para responder. A detecção de turno baseava-se em silêncio; pausas curtas ou ruído de fundo podiam ser erroneamente interpretados como fim da fala, levando o modelo a interromper em momentos inadequados.

Agora, o GPT-Live resolve esse problema com arquitetura full-duplex, capaz de gerar saída enquanto processa entrada continuamente. O modelo pode tomar várias decisões de interação por segundo: falar, continuar ouvindo, pausar, interromper ou chamar ferramentas.

Isso permite que o modelo insira naturalmente confirmações no diálogo, reconheça pausas naturais sem intervir prematuramente e lide com interrupções rápidas sem descarrilar a conversa.

Quando você precisa de um momento para pensar, o ChatGPT espera, em vez de interromper. Além disso, em ambientes com ruído de fundo, como trânsito ou conversas próximas, o ChatGPT consegue focar melhor na voz do usuário.

De dois anos atrás, quando era necessário falar no microfone e esperar quase dois segundos por uma resposta rígida, para um ano atrás, com uma experiência mais fluida mas ainda baseada em turnos, até hoje, com interação full-duplex quase igual a uma conversa real, a trajetória de evolução técnica é clara.

O GPT-Live pode não ser o ponto final, mas torna o ponto final mais próximo.