OpenAI open source Plant Talk : connectez le microphone et le capteur pour que votre plante en pot discute en temps réel avec vous

robot
Création du résumé en cours
Selon la surveillance Beating, le projet éducatif open source d'OpenAI Plant Talk combine l'API en temps réel, les modèles visuels multimodaux et le microcontrôleur Arduino, permettant aux plantes d'intérieur de percevoir leur environnement et d'engager un dialogue vocal.

Le projet supporte un dialogue vocal bidirectionnel à faible latence entre la plante et l'utilisateur via une webcam et un microphone d'ordinateur, et peut également se connecter à des capteurs de humidité du sol capacitifs et à un capteur de lumière LM393 via Arduino. Le rôle AI de la plante (par exemple, le rôle par défaut George) obtient les données matérielles par appel de fonction (Function Calling). Lorsqu'un utilisateur demande si la plante manque d'eau ou de lumière, l'IA appelle l'outil pour lire les indicateurs physiques en temps réel, estime la sécheresse, le nombre de branches et la portée maximale à partir des images capturées par la caméra (en utilisant une pièce de 25 cents comme référence de taille), et répond vocalement avec une tonalité anthropomorphe.

En matière de sécurité et de conception d'interface, le serveur backend Express délègue la connexion WebRTC en toute sécurité au frontend en utilisant un jeton client éphémère (Ephemeral Token), évitant ainsi la fuite de la clé API principale côté client. La reconnaissance visuelle et l'observation périodique utilisent l'API Responses combinée au mode Zod pour une sortie structurée. La bibliothèque de code inclut également un guide opérationnel pour l'IA, AGENTS.md, qui guide l'assistant IA à guider étape par étape l'utilisateur dans la configuration de l'environnement logiciel et l'assemblage du matériel.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire