OpenAI melengkapi AI suara dengan "kemampuan melihat"

Penulis: Li Hailun, Tencent Technology

Pada dini hari tanggal 9 Juli waktu Beijing, OpenAI secara resmi meluncurkan model suara generasi baru, seri GPT-Live, yang terdiri dari dua versi: GPT-Live-1 dan GPT-Live-1 mini, dan mendukung fitur suara ChatGPT.

Inti dari peningkatan GPT-Live adalah "arsitektur full-duplex", yang lebih menekankan pemahaman AI suara dalam cara berdialog. Model dapat memproses mendengarkan dan berbicara secara bersamaan, dapat menunjukkan bahwa ia sedang mendengarkan melalui frasa-frasa pendek selama percakapan, mendukung pergantian bicara yang cepat, dan juga dapat tetap diam saat pengguna sedang berpikir.

Ini lebih mendekati keadaan percakapan manusia nyata, dengan sedikit lebih banyak rasa proporsional dalam interaksi dialog.

Pernyataan resmi OpenAI: "Selama percakapan, GPT-Live dapat merespons dengan 'hmm' atau 'yeah' untuk menunjukkan bahwa ia sedang mendengarkan, dan dapat melakukan percakapan bolak-balik yang cepat; ketika Anda butuh waktu sejenak untuk berpikir, ia juga bisa tetap diam. Hasil akhirnya adalah pengalaman interaksi suara yang lebih santai dan alami."

Ketika menghadapi kebutuhan pencarian web, penalaran mendalam, atau tugas kompleks, GPT-Live akan mendelegasikan pekerjaan tersebut ke model canggih di latar belakang, dan membawa hasilnya kembali ke percakapan setelah selesai, sambil menjaga percakapan tetap tidak terputus.

Saat diluncurkan, model latar belakangnya adalah GPT-5,5. OpenAI menyatakan akan terus memperbarui dukungan dasar seiring dengan rilis model baru.

Bicara sambil Bekerja

Sebelumnya, GPT berfokus pada inti kemampuan suara real-time, mengandalkan sistem streaming audio latensi rendah: pengguna berbicara, model dengan cepat memahami dan merespons; pengguna menyela, model berhenti tepat waktu.

Peningkatan paling kunci dari GPT-Live kali ini adalah memisahkan interaksi suara dan penalaran mendalam menjadi dua bagian independen.

Ketika pengguna mengajukan permintaan yang membutuhkan pencarian, penalaran, atau pemanggilan kemampuan agen yang lebih kuat, GPT-Live akan menyerahkan tugas tersebut ke model latar belakang, sementara model suara di depan tetap berkomunikasi dengan pengguna, berusaha menghindari gangguan ritme percakapan.

"Mode delegasi" ini pada dasarnya adalah pembagian arsitektur: di depan, model asli suara yang dioptimalkan untuk interaksi real-time bertanggung jawab untuk merespons, berhenti sejenak, dan menjaga percakapan alami; di latar belakang, model penalaran independen bertanggung jawab untuk pencarian, perhitungan, pemanggilan alat, dan pelaksanaan tugas kompleks.

Keduanya beroperasi secara terpisah, mesin penalaran dapat diganti kapan saja seiring kemajuan teknologi, dan pengalaman model suara dapat ditingkatkan tanpa perlu dilatih ulang.

Bagi aplikasi perusahaan, nilai arsitektur full-duplex terletak pada kemampuan agen suara untuk menyelesaikan tugas latar belakang seperti kueri basis data, pencarian internet, penalaran multi-langkah, tanpa mengganggu ritme percakapan. Sebelumnya, operasi semacam ini sering menyebabkan keheningan beberapa detik yang membuat pengguna jelas merasa "sistem sedang memproses". Sekarang, hal itu dapat disembunyikan dalam ritme komunikasi yang lebih alami.

Data evaluasi mencerminkan efektivitas desain yang terpisah.

Menurut pengenalan resmi, dalam perbandingan langsung antara GPT-Live-1 dan Advanced Voice Mode, yang pertama unggul signifikan dalam preferensi keseluruhan, pergantian bicara, penyelaan, kelancaran dialog, dan kealamian setiap interaksi dalam percakapan 5 hingga 10 menit, dengan preferensi keseluruhan mencapai 75,7%.

Dalam tes kelancaran dialog, GPT-Live-1 mendapat skor 4,96, sementara Advanced Voice Mode mendapat 3,80. Dalam hal kenikmatan, GPT-Live-1 mendapat 5,19, sementara Advanced Voice Mode mendapat 3,82.

Dalam tes kemampuan penalaran ilmiah tingkat ahli GPQA, Advanced Voice Mode mendapat 45,3%, GPT-Live-1 (high) mencapai 84,2%, dan GPT-Live-1 mini mencapai 74,9%.

Dalam tes pencarian web agen BrowseComp, Advanced Voice Mode hanya mendapat 0,7%, GPT-Live-1 (high) mencapai 75,2%, dan GPT-Live-1 mini mencapai 31,6%.

Perbedaan yang begitu jelas menunjukkan bahwa strategi menyerahkan tugas penalaran ke model canggih di latar belakang memang efektif.

Selain itu, OpenAI mengatakan bahwa mereka juga merekam ulang sembilan suara ChatGPT untuk GPT-Live.

Pengguna sekarang dapat memilih tiga tingkat penalaran untuk jawaban: mode instan untuk respons cepat, mode sedang dan tinggi untuk skenario yang membutuhkan lebih banyak pemikiran.

Selama percakapan, ChatGPT dapat menampilkan kartu visual tentang topik seperti cuaca, saham, olahraga, sehingga pengguna dapat menjelajah sambil berbicara. Fitur suara terus mendukung pencarian, memori, gambar, dan unggahan file.

Dari perspektif evolusi produk, suara ChatGPT telah berkembang dari fitur dasar menjadi pengalaman produk yang mandiri. Pengguna menggunakannya untuk berlatih bahasa, mendongeng sebelum tidur, mengobrol saat bepergian, atau mendapatkan bantuan harian hands-free.

Peluncuran GPT-Live membawa pengalaman ini lebih dekat ke visi yang digambarkan OpenAI: berkolaborasi dengan AI sama lancar dan responsifnya seperti dengan manusia nyata, sementara penalaran dan tugas kompleks berlangsung tanpa hambatan di latar belakang.

Perlindungan Keamanan

Dalam percakapan suara, batas keamanan juga sangat penting. Terutama dalam percakapan real-time, model tidak hanya harus menilai apa yang dikatakan pengguna, tetapi juga menangani risiko kompleks yang ditimbulkan oleh nada, emosi, penyelaan, dan pertanyaan berkelanjutan.

Untuk itu, OpenAI, berdasarkan pekerjaan keamanan yang sudah ada, melakukan pelatihan khusus untuk area risiko kunci, dan merancang serangkaian tindakan perlindungan khusus untuk skenario suara.

Dalam hal pengujian keamanan, OpenAI memperluas evaluasi audio asli dengan menambahkan sampel suara pengguna nyata dan prompt audio yang dihasilkan secara komprehensif di bidang-bidang seperti menyakiti diri sendiri, psikosis dan mania, ketergantungan emosional pada AI, kekerasan, dan konten seksual.

Para ahli internal juga melakukan uji red team terhadap model untuk risiko spesifik suara.

Dalam evaluasi komprehensif, GPT-Live-1 menunjukkan peningkatan signifikan di berbagai bidang dibandingkan Advanced Voice Mode: skor pencegahan tindakan ilegal naik dari 0,63 menjadi 0,97, pencegahan menyakiti diri sendiri naik dari 0,72 menjadi 0,98, pencegahan ujaran kebencian naik dari 0,87 menjadi 1,00.

Dalam evaluasi prompt produksi yang lebih kabur, GPT-Live-1 setara atau lebih baik dari Advanced Voice Mode di sebagian besar kategori, tetapi di bidang ketergantungan emosional turun sedikit dari 0,88 menjadi 0,82. OpenAI menunjukkan bahwa perubahan ini tidak signifikan secara statistik.

Dalam hal perlindungan real-time, ketika sistem mendeteksi potensi output yang tidak aman, ia dapat campur tangan saat model berbicara, mengarahkan ke respons yang lebih aman, menampilkan informasi keamanan tambahan atau sumber daya, atau mengakhiri percakapan suara jika risiko tinggi.

Misalnya, untuk topik yang melibatkan "menyakiti diri sendiri", alur dukungan ChatGPT telah disesuaikan dengan lingkungan suara, termasuk menyediakan dukungan hotline krisis yang telah ditinjau oleh ahli.

Perlindungan remaja: OpenAI merancang langkah-langkah tambahan dengan melatih perilaku yang sesuai usia ke dalam model. Orang tua dapat memutuskan apakah remaja menggunakan suara ChatGPT melalui fitur kontrol orang tua, dan dalam situasi berisiko tinggi, orang tua terkait dapat menerima pemberitahuan.

Yang perlu diperhatikan, OpenAI meluncurkan pengukuran jangka panjang dan pemantauan pasca-rilis untuk ketergantungan emosional, berdasarkan penelitian sebelumnya tentang penggunaan emosional dan kesejahteraan emosional. Ini adalah pengakuan bahwa kealamian percakapan yang dikejar GPT-Live sendiri dapat membawa risiko baru.

Selain itu, GPT-Live menggunakan suara yang telah ditentukan sebelumnya di ChatGPT, dengan langkah-langkah perlindungan untuk mencegah peniruan suara manusia nyata.

Latar belakang pernyataan ini adalah kontroversi pada Mei 2024 saat peluncuran GPT-4o, di mana suara "Sky" mirip dengan suara aktris Scarlett Johansson. Johansson saat itu mengatakan bahwa dia menolak undangan untuk mengisi suara sistem, dan setelah produk diluncurkan, dia merasa "terkejut, marah, dan tidak percaya". OpenAI kemudian menghapus suara tersebut dan meminta maaf.

Tiga Generasi Evolusi

Saat ini, interaksi suara full-duplex dengan cepat menjadi standar untuk produk AI konsumen.

Gemini Live dari Google sudah mendukung percakapan full-duplex serta berbagi kamera dan layar, dua fitur yang belum didukung saat GPT-Live diluncurkan. Google merilis Gemini 3.1 Flash Live pada bulan Maret, menyediakan interaksi suara latensi rendah untuk pengembang. Juga ada PersonaPlex dari Nvidia yang dirilis pada bulan Januari, membawa suara yang dapat disesuaikan dan kontrol karakter ke model full-duplex.

Mari kita lihat kembali evolusi tiga generasi teknologi suara ChatGPT dalam waktu sekitar dua tahun.

Fitur suara ChatGPT awal diluncurkan pada tahun 2023, menggunakan sistem cascading yang menggabungkan tiga model: model speech-to-text mentranskripsikan suara menjadi teks, model bahasa besar menghasilkan respons teks, dan model text-to-speech mengubah respons kembali menjadi audio.

Dalam arsitektur ini, OpenAI menggunakan model pengenalan suara Whisper untuk bagian speech-to-text, model bahasa dasar GPT-4, dan model TTS yang menyertainya untuk sintesis suara akhir.

Metode ini untuk pertama kalinya memungkinkan percakapan dengan model AI canggih, tetapi dengan biaya yang jelas: setiap transfer memperkenalkan latensi dan berpotensi kehilangan informasi, respons lambat dan kaku.

Kemudian pada Mei 2024, OpenAI merilis GPT-4o, model multimodal asli pertama perusahaan yang dapat langsung memproses input dan output audio, tanpa perlu modul speech-to-text dan text-to-speech eksternal. Advanced Voice Mode yang dibangun di atas GPT-4o dirilis secara "terbatas" untuk pengguna berbayar pada Juli 2024, dan diluncurkan lebih luas pada September.

Namun, ia masih beroperasi dalam putaran diskrit: model harus menunggu pengguna berhenti berbicara sebelum merespons. Deteksi putaran didasarkan pada keheningan, dan jeda singkat atau kebisingan latar belakang dapat disalahartikan sebagai akhir bicara, menyebabkan model menyela pada waktu yang tidak tepat.

Sekarang, GPT-Live memecahkan masalah ini dengan arsitektur full-duplex, yang dapat menghasilkan output sambil terus memproses input. Model dapat membuat keputusan interaksi beberapa kali per detik: berbicara, terus mendengarkan, berhenti sejenak, menyela, atau memanggil alat.

Ini memungkinkan model untuk secara alami menyisipkan konfirmasi percakapan, mengenali jeda alami tanpa campur tangan lebih awal, dan menangani penyelaan cepat tanpa mengganggu jalannya percakapan.

Ketika Anda butuh waktu sejenak untuk berpikir, ChatGPT akan menunggu, bukan melompat masuk untuk menyela. Dengan latar belakang suara lalu lintas atau percakapan di dekatnya, ChatGPT dapat lebih fokus pada suara pengguna.

Dari dua tahun lalu, berbicara ke mikrofon lalu menunggu hampir dua detik untuk respons kaku, hingga setahun lalu pengalaman yang lebih lancar namun masih harus bergiliran bicara, hingga hari ini interaksi full-duplex yang mendekati percakapan nyata, lintasan evolusi teknologi terlihat jelas.

GPT-Live mungkin bukan titik akhir, tetapi ia membuat titik akhir tampak lebih dekat.