OpenAI mã nguồn mở React điều khiển bằng giọng nói: sử dụng gpt-realtime-1.5 để người dùng điều khiển ứng dụng bằng lời nói

Thông báo từ Coinjie.com, OpenAI đã mở mã nguồn của realtime-voice-component, đây là một bộ thư viện thành phần React, cho phép các nhà phát triển tích hợp khả năng điều khiển bằng giọng nói vào ứng dụng Web. Người dùng nói chuyện qua micro, mô hình sử dụng các công cụ đã định nghĩa sẵn để trực tiếp gọi các chức năng của ứng dụng, thay vì tạo phản hồi dạng văn bản. Thư viện này dựa trên API realtime của OpenAI, kết hợp với gpt-realtime-1.5, sử dụng giấy phép Apache-2.0. Các nhà phát triển sử dụng definevoicetool() để đăng ký hoạt động của ứng dụng như là công cụ giọng nói, createvoicecontrolcontroller() để quản lý phiên và kết nối, voicecontrolwidget cung cấp nút khởi động, ghostcursoroverlay hiển thị vị trí thao tác của AI, giúp người dùng xác nhận trực quan. Thư viện này nhằm mục đích tham khảo và giảng dạy, chưa được phát hành trên npm, phần readme ghi chú “không cam kết là khung giao diện người dùng cấp sản xuất”.