OpenAI mã nguồn mở Plant Talk: kết nối micro và cảm biến để chậu cây của bạn trò chuyện trực tiếp với bạn

robot
Đang tạo bản tóm tắt
Theo giám sát Beating, dự án giáo dục mã nguồn mở của OpenAI Plant Talk kết hợp API Thời gian thực, mô hình thị giác đa phương thức và bộ điều khiển Arduino, cho phép cây trong nhà có khả năng cảm nhận môi trường và đối thoại bằng giọng nói.

Dự án hỗ trợ trò chuyện thoại hai chiều với độ trễ thấp giữa cây và máy tính qua webcam và microphone, đồng thời có thể kết nối cảm biến độ ẩm đất cảm ứng và cảm biến quang LM393 qua Arduino. Vai trò AI của cây (ví dụ vai trò mặc định là George) lấy dữ liệu phần cứng thông qua gọi hàm (Function Calling). Khi người dùng hỏi về việc thiếu nước hoặc ánh sáng, AI sẽ gọi công cụ để đọc các chỉ số vật lý theo thời gian thực, kết hợp hình ảnh chụp từ camera để ước lượng độ khô của cây, số nhánh và chiều dài tối đa (hỗ trợ sử dụng đồng xu 25 cent làm thước đo kích thước), và phản hồi bằng giọng nói theo phong cách nhân hóa của cây.

Về an toàn và thiết kế giao diện, máy chủ phía sau Express sẽ cấp khóa khách hàng tạm thời (Ephemeral Token) để ủy quyền kết nối WebRTC một cách an toàn cho phía trước, tránh lộ khóa API chính trên client. Nhận diện hình ảnh và quan sát định kỳ sử dụng Responses API kết hợp với mô hình Zod để thực hiện xuất dữ liệu có cấu trúc. Trong thư viện mã còn tích hợp hướng dẫn thao tác dành cho AI thông minh trong tệp AGENTS.md, hướng dẫn trợ lý AI dẫn dắt người dùng từng bước hoàn thiện cấu hình môi trường phần mềm và lắp ráp phần cứng.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim