OpenAI open-source Plant Talk: conecte o microfone e o sensor para fazer sua planta conversar com você em tempo real

robot
Geração do resumo em andamento
De acordo com o monitoramento Beating, o projeto educacional de código aberto da OpenAI Plant Talk combina API em tempo real, modelos visuais multimodais e microcontrolador Arduino, permitindo que plantas internas tenham percepção ambiental e funções de diálogo por voz.

O projeto suporta diálogo de voz full-duplex de baixa latência com plantas usando câmera e microfone do computador, além de conectar sensores de umidade do solo capacitivos e sensores de luz LM393 via Arduino. O papel de IA da planta (como o papel padrão George) obtém dados de hardware por meio de chamadas de função (Function Calling). Quando o usuário pergunta se há falta de água ou luz, a IA chama ferramentas para ler indicadores físicos em tempo real, estima a secura da planta, o número de galhos e a maior envergadura (suportando o uso de uma moeda de 25 centavos como referência de tamanho), e responde por voz com uma linguagem personificada da planta.

No que diz respeito à segurança e ao design de interface, o servidor backend Express delega a conexão WebRTC de forma segura ao solicitar uma chave de cliente temporária (Ephemeral Token), evitando a exposição da chave principal da API no cliente. Reconhecimento visual e observação periódica usam a API Responses combinada com o padrão Zod para gerar saídas estruturadas. O repositório também inclui o guia de operação para agentes de IA, AGENTS.md, orientando o assistente de IA a guiar o usuário passo a passo na configuração do ambiente de software e montagem do hardware.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários