OpenAI открывает исходный код Plant Talk: подключите микрофон и датчики, чтобы ваш горшечный цветок мог общаться с вами в реальном времени

robot
Генерация тезисов в процессе
Согласно мониторингу Beating, проект открытого образования OpenAI Plant Talk объединяет Realtime API, мультимодальные визуальные модели и микроконтроллер Arduino, позволяя комнатным растениям обладать функциями восприятия окружающей среды и голосового диалога.

Проект поддерживает низколатентный двунаправленный голосовой диалог с растениями через веб-камеру и микрофон компьютера, а также подключение к емкостным датчикам влажности почвы и фотосенсору LM393 через Arduino. AI-роль растения (например, роль по умолчанию George) получает данные с аппаратных устройств с помощью вызовов функций (Function Calling). Когда пользователь спрашивает о недостатке воды или освещенности, AI вызывает инструменты для чтения реальных физических показателей, оценивает степень сухости растения, количество ветвей и максимальный размах (поддерживается использование 25-центовой монеты в качестве масштаба), и отвечает голосом в стиле человека-растения.

В вопросах безопасности и интерфейса сервер Express на стороне сервера использует временный клиентский ключ (Ephemeral Token), чтобы безопасно делегировать соединение WebRTC фронтенду, избегая утечки основного API-ключа на клиенте. Визуальное распознавание и периодические наблюдения реализованы с помощью Responses API в сочетании с Zod схемами для структурированного вывода. В репозитории также встроено руководство по операциям для AI-агентов AGENTS.md, которое помогает AI-ассистенту пошагово провести пользователя через настройку программного окружения и сборку аппаратных компонентов.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено