OpenAI open-source Plant Talk: sambungkan mikrofon dan sensor agar tanaman hias dapat berbicara langsung denganmu secara real-time

robot
Pembuatan abstrak sedang berlangsung
Menurut pemantauan Beating, proyek pendidikan sumber terbuka OpenAI Plant Talk menggabungkan API Real-time, model visual multimodal, dan mikrokontroler Arduino, sehingga tanaman dalam ruangan memiliki kemampuan persepsi lingkungan dan dialog suara.

Proyek ini mendukung percakapan suara dua arah dengan latensi rendah melalui kamera dan mikrofon komputer dengan tanaman, serta dapat terhubung ke sensor kelembaban tanah kapasitif dan sensor cahaya LM393 melalui Arduino. Peran AI tanaman (seperti peran default George) memperoleh data perangkat keras melalui pemanggilan fungsi (Function Calling). Ketika pengguna menanyakan apakah tanaman kekurangan air atau cahaya, AI akan memanggil alat untuk membaca indikator fisik secara real-time, memperkirakan tingkat kekeringan tanaman, jumlah cabang, dan jarak maksimum (mendukung penggunaan koin 25 sen sebagai perbandingan ukuran), dan merespons secara suara dengan gaya manusia tanaman.

Dalam hal keamanan dan desain antarmuka, server Express backend mengelola koneksi WebRTC yang aman dengan mengajukan kunci klien sementara (Ephemeral Token) untuk mencegah kebocoran kunci utama API di sisi klien. Pengakuan visual dan observasi berkala menggunakan Responses API yang dikombinasikan dengan pola Zod untuk menghasilkan output yang terstruktur. Selain itu, repositori kode juga menyertakan panduan operasi untuk agen AI bernama AGENTS.md, yang membimbing asisten AI secara bertahap dalam mengatur lingkungan perangkat lunak dan merakit perangkat keras.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar