Mantan CTO OpenAI tantang mantan perusahaan: model baru merespons dalam 200ms, latensi mengalahkan GPT-Realtime

Menurut pemantauan Beating, Thinking Machines yang didirikan oleh mantan CTO OpenAI Mira Murati merilis pratinjau penelitian “model interaktif”. Sistem baru ini meninggalkan praktik tradisional menggabungkan suara dan teks menggunakan alat eksternal, dan secara asli menangani interaksi audio dan video secara real-time. Model ini dapat menerima informasi secara berkelanjutan dalam “micro-turn” selama 200ms, memungkinkan mendengarkan, melihat, dan berbicara secara bersamaan, serta mendukung pengguna untuk memotong secara langsung.

Model pertama yang dipamerkan, TML-Interaction-Small, menggunakan arsitektur MoE dengan 276 miliar parameter, mengaktifkan 12 miliar parameter setiap kali. Untuk mengatasi kekurangan model besar tradisional yang “menghentikan persepsi saat menghasilkan jawaban”, tim pengembang membagi sistem menjadi bagian depan dan belakang: model bagian depan khusus menjaga percakapan tanpa henti, sementara model bagian belakang secara sinkron memproses inferensi kompleks, pencarian web, atau menghasilkan UI, kemudian hasilnya disalurkan kembali ke bagian depan secara mulus.

Arsitektur ini secara langsung mengungguli pesaing lama dalam kecepatan respons. Data resmi menunjukkan bahwa latensi putaran suara hanya 0,40 detik, dan mendapatkan skor 77,8 di FD-bench V1.5, dengan kedua indikator inti lebih tinggi dari GPT-realtime-2.0 dan Gemini 3.1 Flash Live. Tetapi pemrosesan audio dan video secara berkelanjutan akan cepat menghabiskan kapasitas konteks, dan efek latensi rendah sangat bergantung pada lingkungan jaringan. Thinking Machines berencana membuka pratinjau terbatas dalam beberapa bulan mendatang.