OpenAI開源Plant Talk:連上麥克風和傳感器讓盆栽跟你實時聊天

robot
摘要生成中
據動察 Beating 監測,OpenAI 開源教育項目 Plant Talk,將 Realtime API、多模態視覺模型與 Arduino 微控制器結合,讓室內植物具備環境感知與語音對話功能。

項目支持通過電腦攝像頭和麥克風與植物進行低延遲全雙工語音對話,並能通過 Arduino 接入電容式土壤濕度和 LM393 光敏傳感器。植物的 AI 角色(如預設角色 George)通過函數調用(Function Calling)獲取硬件數據。當用戶詢問是否缺水或光照時,AI 會調用工具讀取實時物理指標,結合攝像頭捕獲的圖像估算植物乾燥度、分枝數以及最大跨度(支持使用 25 美分硬幣作為尺寸對照),並以擬人的植物口吻進行語音回應。

在安全與接口設計上,後端 Express 伺服器通過申請臨時客戶端密鑰(Ephemeral Token)將 WebRTC 連接安全委託給前端,避免在客戶端洩露 API 主密鑰。視覺識別與定時觀測使用 Responses API 結合 Zod 模式以實現結構化輸出。程式庫中還內建了面向 AI 智能體的操作指南 AGENTS.md,指導 AI 助手逐步引導用戶完成軟體環境配置與硬體組裝。
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆