OpenAI código aberto do componente de voz React: usando gpt-realtime-1.5 para permitir que os usuários controlem o App falando

Notícias do site Coinjie, a OpenAI lançou de código aberto o realtime-voice-component, uma biblioteca de componentes React que permite aos desenvolvedores incorporar capacidades de controle por voz em aplicações Web. Os utilizadores falam através do microfone, e o modelo utiliza ferramentas predefinidas para chamar diretamente funcionalidades da aplicação, em vez de gerar respostas em texto. Esta biblioteca é baseada na API realtime da OpenAI, combinada com gpt-realtime-1.5, e utiliza a licença Apache-2.0. Os desenvolvedores registam ações de aplicação como ferramentas de voz usando definevoicetool(), gerenciam sessões e ligações com createvoicecontrolcontroller(), a voicecontrolwidget fornece um botão de início, ghostcursoroverlay mostra a posição de operação da IA, oferecendo confirmação visual ao utilizador. A biblioteca é posicionada como uma implementação de referência e para fins educativos, não tendo sido publicada no npm, e o readme indica que «não é uma promessa de um framework UI de nível de produção».