OpenAI відкрила вихідний код Plant Talk: підключіть мікрофон і датчики, щоб ваші кімнатні рослини спілкувалися з вами у реальному часі

robot
Генерація анотацій у процесі
Згідно з моніторингом Beating, відкритий освітній проект OpenAI Plant Talk поєднує Realtime API, мультимодальні візуальні моделі та мікроконтролер Arduino, щоб надати кімнатним рослинам здатність відчувати навколишнє середовище та вести голосові діалоги.

Проект підтримує низьколатентний двонапрямний голосовий діалог з рослинами через веб-камеру та мікрофон комп’ютера, а також може підключатися до ємнісних датчиків вологості ґрунту та фотосенсора LM393 через Arduino. Роль штучного інтелекту рослини (наприклад, стандартна роль George) отримує дані з апаратного забезпечення за допомогою викликів функцій (Function Calling). Коли користувач запитує про нестачу води або освітлення, AI викликає інструменти для зчитування реальних фізичних показників, оцінює ступінь сухості рослини, кількість гілок та максимальну відстань між ними (підтримується використання монетки номіналом 25 центів як масштабного зразка), і відповідає голосом у людській манері, імітуючи голос рослини.

Щодо безпеки та дизайну інтерфейсу, бекенд-сервер Express через запит тимчасового клієнтського ключа (Ephemeral Token) делегує безпеку з’єднання WebRTC фронтенду, щоб уникнути витоку головного API-ключа на стороні клієнта. Візуальне розпізнавання та періодичне спостереження використовують Responses API у поєднанні з моделлю Zod для структурованого виводу. У кодовій базі також вбудовано керівництво для AI-агентів AGENTS.md, яке допомагає штучному інтелекту крок за кроком налаштувати програмне забезпечення та збірку апаратного забезпечення.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено