Google DeepMind menjelajahi sistem penunjuk berbasis AI menggunakan Gemini untuk membuat interaksi layar menjadi lebih intuitif, sadar konteks, dan terintegrasi di seluruh aplikasi dan alur kerja.

Perusahaan AI Google DeepMind, bagian dari Google, telah memperkenalkan penelitian eksperimental yang mengeksplorasi bentuk interaksi komputer yang didesain ulang yang memikirkan kembali penunjuk mouse tradisional, elemen inti dari antarmuka pengguna grafis yang telah digunakan selama puluhan tahun. Inisiatif ini berfokus pada mengintegrasikan kemampuan AI, khususnya model Gemini, ke dalam interaksi berbasis penunjuk untuk menciptakan pengalaman komputasi yang lebih sadar konteks dan intuitif.

Menurut perusahaan, penunjuk mouse tetap sebagian besar tidak berubah selama lebih dari lima puluh tahun meskipun terjadi pergeseran besar dalam paradigma komputasi. Menurut tim peneliti, tujuannya adalah untuk mengembangkan penunjuk melampaui alat navigasi sederhana sehingga dapat menafsirkan tidak hanya apa yang ditunjuk, tetapi juga menyimpulkan niat pengguna. Pendekatan ini dimaksudkan untuk mengurangi kebutuhan pengguna beralih antar aplikasi atau memberikan prompt teks terperinci di antarmuka AI terpisah.

Di bawah konsep yang diusulkan, fungsi AI disematkan langsung ke dalam alur kerja pengguna, memungkinkan interaksi terjadi dalam aplikasi yang ada daripada memerlukan jendela AI khusus. Sebagai contoh, seorang pengguna dapat menunjuk ke sebuah bangunan di peta dan meminta petunjuk melalui input suara atau singkatan alami, dengan sistem menggunakan pemahaman konteks untuk memproses permintaan tanpa instruksi tambahan.

Penelitian ini menguraikan seperangkat prinsip interaksi yang dimaksudkan untuk mengurangi gesekan antara niat pengguna dan respons sistem. Salah satu prinsip, yang digambarkan sebagai menjaga kontinuitas alur kerja, menekankan bahwa alat AI harus beroperasi di seluruh aplikasi tanpa memaksa pengguna ke lingkungan terpisah. Dalam model ini, tugas seperti merangkum dokumen, mengonversi visualisasi data, atau memodifikasi konten dapat diselesaikan langsung melalui tindakan berbasis penunjuk.

Prinsip lain berfokus pada penangkapan konteks, di mana sistem menafsirkan tidak hanya objek yang dipilih tetapi juga makna di sekitarnya. Alih-alih memerlukan instruksi teks yang tepat, sistem AI akan mengidentifikasi elemen relevan seperti paragraf, gambar, atau segmen kode berdasarkan lokasi penunjuk diarahkan, memungkinkan respons yang lebih langsung dan tertarget.

Konsep lebih lanjut menyoroti penggunaan pola komunikasi manusia alami, di mana gestur dan frasa singkat seperti “ini” atau “itu” digabungkan dengan pemahaman konteks. Pendekatan ini dimaksudkan untuk mencerminkan gaya interaksi dunia nyata, mengurangi ketergantungan pada prompt terstruktur dan memungkinkan komunikasi yang lebih lancar dengan sistem AI.

Google DeepMind Menjelajahi Antarmuka Berbasis AI yang Mengubah Visual di Layar Menjadi Entitas Digital yang Dapat Ditindaklanjuti

Penelitian ini juga memperkenalkan ide mengubah elemen visual di layar menjadi objek digital yang dapat ditindaklanjuti. Dalam kerangka ini, piksel diinterpretasikan sebagai entitas terstruktur seperti lokasi, tugas, atau item yang menarik perhatian. Misalnya, sebuah foto dapat diubah menjadi daftar tindakan, atau bingkai video yang dijeda dapat digunakan untuk mengekstrak informasi dunia nyata yang relevan seperti detail restoran.

Perusahaan menunjukkan bahwa konsep eksperimental ini sedang diintegrasikan ke dalam eksplorasi produk awal, termasuk pengalaman berbasis browser di Chrome dan prototipe antarmuka perangkat keras. Dalam implementasi ini, pengguna akan dapat berinteraksi dengan bantuan AI secara langsung melalui tindakan menunjuk, seperti membandingkan item yang dipilih di halaman web atau memvisualisasikan objek dalam lingkungan fisik. Fitur eksperimental tambahan juga sedang diuji di platform lain, mencerminkan eksplorasi berkelanjutan tentang desain antarmuka pengguna yang terintegrasi AI.

Lihat Asli

Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.