A OpenAI deu ao assistente de voz a capacidade de "ler o ambiente".

Autor: Li Hailun, Tencent Technology

Na madrugada de 9 de julho, hora de Pequim, a OpenAI lançou oficialmente a nova geração de modelos de voz GPT-Live, em duas versões: GPT-Live-1 e GPT-Live-1 mini, que agora suportam as funcionalidades de voz do ChatGPT.

A principal atualização do GPT-Live é a "arquitetura full-duplex", que enfatiza a compreensão da IA de voz na forma de diálogo. O modelo pode processar a escuta e a fala simultaneamente, pode usar frases curtas para indicar que está a ouvir durante a conversa, permite alternância rápida de turnos e pode permanecer em silêncio enquanto o utilizador pensa.

Aproxima-se mais do estado de uma conversa real, com um pouco mais de senso de medida na troca de diálogo.

A OpenAI afirmou oficialmente: "Durante a conversa, o GPT-Live pode responder com sons como 'hm-hm' ou 'yeah' para mostrar que está a ouvir, e pode fazer trocas rápidas de ida e volta; quando precisar de tempo para pensar, também pode ficar em silêncio. O resultado é uma experiência de interação de voz mais descontraída e natural."

Quando encontra tarefas que requerem pesquisa na web, raciocínio profundo ou tarefas complexas, o GPT-Live delega o trabalho ao modelo de ponta nos bastidores e traz o resultado de volta ao diálogo, mantendo a conversa ininterrupta durante o processo.

No lançamento, o modelo de backend era o GPT-5.5, e a OpenAI afirmou que continuará a atualizar o suporte subjacente com o lançamento de novos modelos.

Trabalhar enquanto conversa

Anteriormente, o GPT baseava-se num sistema de stream de áudio de baixa latência como núcleo da capacidade de voz em tempo real: o utilizador fala, o modelo compreende e responde rapidamente; o utilizador interrompe, o modelo pára a tempo.

A atualização mais importante do GPT-Live desta vez é separar a interação de voz do raciocínio profundo em dois componentes independentes.

Quando o utilizador faz um pedido que requer pesquisa, raciocínio ou chamada de capacidades de agente mais fortes, o GPT-Live entrega a tarefa ao modelo de backend, enquanto o modelo de voz de front-end continua a conversa com o utilizador, evitando ao máximo interromper o ritmo da comunicação.

Este "modo de delegação" é essencialmente uma divisão arquitetónica: o front-end é responsável por um modelo nativo de voz otimizado para interação em tempo real, que lida com respostas, pausas e mantém uma conversa natural; o backend é responsável por um modelo de raciocínio independente para pesquisa, cálculo, chamada de ferramentas e execução de tarefas complexas.

Os dois operam separadamente, o motor de raciocínio pode ser substituído a qualquer momento com o avanço tecnológico, e a experiência do modelo de voz pode ser atualizada sem necessidade de re-treino.

Para aplicações empresariais, o valor da arquitetura full-duplex reside no facto de o agente de voz poder completar tarefas de backend, como consultar bases de dados, pesquisar na web e fazer raciocínio multi-etapas, sem interromper o ritmo da conversa. No passado, estas operações frequentemente causavam alguns segundos de silêncio, fazendo o utilizador sentir claramente que "o sistema está a processar". Agora, podem ser escondidas num ritmo de comunicação mais natural.

Os dados de avaliação refletem a eficácia do design separado.

Segundo a apresentação oficial, na comparação direta entre o GPT-Live-1 e o Advanced Voice Mode, o primeiro mostrou uma vantagem clara na preferência geral em conversas de 5 a 10 minutos, alternância de turnos, interrupção, fluidez do diálogo e naturalidade de cada interação, com uma preferência geral de 75,7%.

No teste de fluidez do diálogo, o GPT-Live-1 obteve 4,96 pontos, enquanto o Advanced Voice Mode obteve 3,80. Em termos de prazer, o GPT-Live-1 teve 5,19 pontos, contra 3,82 do Advanced Voice Mode.

No teste de capacidade de raciocínio científico de nível especialista (GPQA), o Advanced Voice Mode obteve 45,3%, o GPT-Live-1 (high) atingiu 84,2%, e o GPT-Live-1 mini 74,9%.

No teste de pesquisa na web para agentes (BrowseComp), o Advanced Voice Mode obteve apenas 0,7%, o GPT-Live-1 (high) atingiu 75,2%, e o GPT-Live-1 mini 31,6%.

A diferença tão evidente mostra que a estratégia de entregar tarefas de raciocínio a modelos de ponta no backend é realmente eficaz.

Além disso, a OpenAI afirmou ter regravado as nove vozes do ChatGPT para o GPT-Live.

Os utilizadores podem agora escolher três níveis de raciocínio para as respostas: modo instantâneo para respostas rápidas, modos médio e intenso para cenários que requerem mais reflexão.

Durante a conversa, o ChatGPT pode exibir cartões visuais sobre temas como clima, ações e desporto, permitindo ao utilizador navegar enquanto fala. A funcionalidade de voz continua a suportar pesquisa, memória, imagens e upload de ficheiros.

Do ponto de vista da evolução do produto, a voz do ChatGPT passou de uma funcionalidade básica para uma experiência de produto independente. Os utilizadores usam-na para praticar línguas, contar histórias de embalar, conversar durante o trajeto ou obter ajuda quotidiana sem usar as mãos.

O lançamento do GPT-Live aproxima ainda mais esta experiência da visão descrita pela OpenAI: colaborar com IA tão fluida e responsiva como com um humano real, enquanto o raciocínio e tarefas complexas ocorrem perfeitamente em segundo plano.

Proteção de segurança

Nas conversas de voz, os limites de segurança também são importantes. Especialmente em conversas em tempo real, o modelo não só precisa de avaliar o que o utilizador diz, mas também de lidar com riscos complexos trazidos pelo tom, emoções, interrupções e perguntas consecutivas.

Para isso, a OpenAI, com base no trabalho de segurança existente, realizou treino especializado em áreas de risco chave e criou um conjunto separado de medidas de proteção para o cenário de voz.

Em termos de testes de segurança, a OpenAI expandiu a avaliação nativa de áudio, adicionando amostras de voz reais de utilizadores e prompts de áudio gerados para áreas como automutilação, psicose e mania, dependência emocional de IA, violência e conteúdo sexual.

Especialistas internos também realizaram testes de red teaming focados em riscos específicos da voz.

Na avaliação abrangente, o GPT-Live-1 mostrou melhorias significativas em várias áreas em comparação com o Advanced Voice Mode: a prevenção de atividades ilegais subiu de 0,63 para 0,97, a prevenção de automutilação de 0,72 para 0,98, e a prevenção de discurso de ódio de 0,87 para 1,00.

Na avaliação de prompts de produção mais ambíguos, o GPT-Live-1 foi equivalente ou melhor que o Advanced Voice Mode na maioria das categorias, mas na área de dependência emocional houve uma ligeira descida de 0,88 para 0,82, que a OpenAI afirmou não ser estatisticamente significativa.

Em termos de proteção em tempo real, quando o sistema deteta uma saída potencialmente insegura, pode intervir enquanto o modelo está a falar, direcionando para uma resposta mais segura, mostrando informações ou recursos de segurança adicionais, ou terminando a conversa de voz em casos de maior risco.

Por exemplo, em tópicos relacionados com automutilação, o suporte do ChatGPT foi ajustado para o contexto de voz, incluindo a oferta de linhas de crise revistas por especialistas.

Para a proteção de adolescentes, a OpenAI concebeu medidas adicionais, treinando o modelo com comportamentos adequados à idade. Os pais podem usar controlos parentais para decidir se os adolescentes usam a voz do ChatGPT, e em situações de alto risco, os pais associados podem receber notificações.

Vale a pena notar que a OpenAI introduziu medição a longo prazo e monitorização pós-lançamento para a dependência emocional, com base em estudos anteriores sobre uso emocional e bem-estar emocional. Isto é um reconhecimento de que a naturalidade da conversa que o GPT-Live procura pode, por si só, trazer novos riscos.

Além disso, o GPT-Live utiliza as vozes predefinidas do ChatGPT, com medidas de proteção contra a imitação de vozes humanas reais.

O contexto desta declaração é a controvérsia em maio de 2024, durante o lançamento do GPT-4o, quando a voz "Sky" se assemelhava à voz da atriz Scarlett Johansson. Johansson disse na altura que recusou o convite para dar voz ao sistema, e ficou "chocada, zangada e incrédula" após o lançamento do produto. A OpenAI posteriormente removeu a voz e pediu desculpas.

Evolução em três gerações

Atualmente, a interação de voz full-duplex está rapidamente a tornar-se um padrão nos produtos de consumo de IA.

O Gemini Live da Google já suporta diálogo full-duplex e partilha de câmara e ecrã, duas funcionalidades que o GPT-Live não suporta no lançamento. A Google lançou em março o Gemini 3.1 Flash Live, oferecendo interação de voz de baixa latência para programadores. Além disso, a Nvidia lançou em janeiro o PersonaPlex, que traz vozes personalizáveis e controlo de personagens para modelos full-duplex.

Recordemos a evolução da tecnologia de voz do ChatGPT em aproximadamente dois anos, passando por três gerações.

A funcionalidade de voz original do ChatGPT foi lançada em 2023, usando um sistema em cascata que ligava três modelos: um modelo de voz para texto (speech-to-text) transcrevia a voz em texto, um grande modelo de linguagem gerava uma resposta em texto, e um modelo de texto para voz (text-to-speech) convertia a resposta de volta em áudio.

Nesta arquitetura, a OpenAI usava o modelo de reconhecimento de voz Whisper para a parte de voz para texto, o GPT-4 como modelo de linguagem subjacente, e um modelo TTS correspondente para a síntese final de voz.

Este método permitiu pela primeira vez conversar com modelos de IA de ponta, mas com um custo óbvio: cada transição introduzia latência e podia perder informação, resultando em respostas lentas e rígidas.

Assim, em maio de 2024, a OpenAI lançou o GPT-4o, o primeiro modelo nativamente multimodal da empresa, capaz de processar diretamente entrada e saída de áudio, sem necessidade de módulos externos de voz para texto e texto para voz. O Advanced Voice Mode baseado no GPT-4o foi disponibilizado "limitadamente" aos utilizadores pagantes em julho de 2024 e lançado mais amplamente em setembro.

No entanto, ainda operava em turnos discretos: o modelo tinha de esperar que o utilizador parasse de falar para responder. A deteção de turnos baseava-se no silêncio, e pausas curtas ou ruído de fundo podiam ser mal interpretados como fim do turno, fazendo o modelo interromper no momento errado.

Agora, o GPT-Live resolve este problema com a arquitetura full-duplex, permitindo gerar saída enquanto processa continuamente a entrada. O modelo pode tomar múltiplas decisões de interação por segundo: falar, continuar a ouvir, pausar, interromper ou chamar ferramentas.

Isto permite que o modelo insira naturalmente confirmações conversacionais, identifique pausas naturais sem intervir prematuramente e lide com interrupções rápidas sem descarrilar a comunicação.

Quando precisa de um momento para pensar, o ChatGPT espera em vez de interromper. Em ruído de fundo como trânsito ou conversas próximas, o ChatGPT consegue focar-se melhor na voz do utilizador.

De dois anos atrás, quando se falava para o microfone e se esperava quase dois segundos por uma resposta rígida, para uma experiência mais fluida mas ainda com turnos alternados há um ano, até à interação full-duplex de hoje próxima de uma conversa real, a trajetória da evolução técnica é clara.

O GPT-Live pode não ser o ponto final, mas torna o ponto final mais próximo.