OpenAI de código abierto Plant Talk: conecta el micrófono y los sensores para que la planta en maceta converse contigo en tiempo real

robot
Generación de resúmenes en curso
Según la monitorización de Beating, el proyecto educativo de código abierto de OpenAI Plant Talk combina la API en tiempo real, modelos visuales multimodales y microcontroladores Arduino, permitiendo que las plantas de interior tengan percepción ambiental y funciones de diálogo por voz.

El proyecto soporta diálogos de voz en dúplex de baja latencia con las plantas mediante cámara y micrófono de la computadora, y puede conectarse a sensores de humedad del suelo capacitivos y sensores de luz LM393 a través de Arduino. El rol de IA de la planta (como el rol predeterminado George) obtiene datos de hardware mediante llamadas a funciones (Function Calling). Cuando el usuario pregunta si la planta está seca o necesita luz, la IA llama a herramientas para leer indicadores físicos en tiempo real, estima la sequedad, el número de ramas y el máximo alcance (soporta usar una moneda de 25 centavos como referencia de tamaño) a partir de las imágenes capturadas por la cámara, y responde en un tono personificado de planta mediante voz.

En cuanto a seguridad y diseño de interfaces, el servidor backend Express delega la conexión WebRTC de forma segura al front-end mediante la solicitud de una clave de cliente temporal (Ephemeral Token), evitando la exposición de la clave principal de API en el cliente. La identificación visual y la observación periódica utilizan la API Responses combinada con el esquema Zod para lograr salidas estructuradas. El repositorio también incluye la guía de operaciones para agentes de IA, AGENTS.md, que guía paso a paso a los asistentes de IA en la configuración del entorno de software y el ensamblaje del hardware.
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios