Un curseur plus intelligent : La vision de Google DeepMind alimentée par Gemini pour une informatique sensible à l'intention commence à prendre forme | Metaverse Post

En Bref

Google DeepMind explore un système de pointeur alimenté par l’IA utilisant Gemini pour rendre l’interaction à l’écran plus intuitive, contextuelle et intégrée à travers les applications et flux de travail.

L’entreprise d’IA Google DeepMind, faisant partie de Google, a présenté des recherches expérimentales explorant une nouvelle forme d’interaction informatique qui repense le pointeur de souris traditionnel, un élément central des interfaces graphiques utilisées depuis des décennies. L’initiative se concentre sur l’intégration des capacités d’IA, en particulier le modèle Gemini, dans les interactions basées sur le pointeur afin de créer une expérience informatique plus sensible au contexte et intuitive.

Selon l’entreprise, le pointeur de souris est resté largement inchangé pendant plus de cinquante ans malgré d’importants changements dans les paradigmes informatiques. Selon l’équipe de recherche, l’objectif est de faire évoluer le pointeur au-delà d’un simple outil de navigation afin qu’il puisse interpréter non seulement ce sur quoi il pointe, mais aussi déduire l’intention de l’utilisateur. Cette approche vise à réduire la nécessité pour les utilisateurs de basculer entre différentes applications ou de fournir des invites textuelles détaillées dans des interfaces d’IA séparées.

Dans le cadre du concept proposé, la fonctionnalité d’IA est intégrée directement dans le flux de travail de l’utilisateur, permettant des interactions au sein des applications existantes plutôt que d’exiger des fenêtres d’IA dédiées. Par exemple, un utilisateur pourrait pointer vers un bâtiment sur une carte et demander des directions par commande vocale ou raccourci naturel, le système utilisant la compréhension contextuelle pour traiter la demande sans instructions supplémentaires.

La recherche décrit un ensemble de principes d’interaction destinés à réduire la friction entre l’intention de l’utilisateur et la réponse du système. Un principe, décrit comme maintenant la continuité du flux de travail, souligne que les outils d’IA doivent fonctionner à travers les applications sans forcer les utilisateurs à passer dans des environnements séparés. Dans ce modèle, des tâches telles que résumer un document, convertir des visualisations de données ou modifier du contenu pourraient être accomplies directement par des actions basées sur le pointeur.

Un autre principe se concentre sur la capture du contexte, où le système interprète non seulement l’objet sélectionné mais aussi sa signification environnante. Au lieu d’exiger des instructions textuelles précises, le système d’IA identifierait des éléments pertinents tels que des paragraphes, des images ou des segments de code en fonction de l’endroit où le pointeur est dirigé, permettant des réponses plus immédiates et ciblées.

Un concept supplémentaire met en avant l’utilisation de modèles de communication humaine naturelle, où des gestes et de courtes phrases telles que « ceci » ou « cela » sont combinés avec une compréhension contextuelle. Cette approche vise à refléter les styles d’interaction du monde réel, réduisant la dépendance aux invites structurées et permettant une communication plus fluide avec les systèmes d’IA.

Google DeepMind explore des interfaces alimentées par l’IA qui transforment les visuels à l’écran en entités numériques exploitables

La recherche introduit également l’idée de transformer les éléments visuels à l’écran en objets numériques exploitables. Dans ce cadre, les pixels sont interprétés comme des entités structurées telles que des emplacements, des tâches ou des éléments d’intérêt. Par exemple, une photographie pourrait être convertie en une liste d’actions, ou une image d’une vidéo en pause pourrait être utilisée pour extraire des informations pertinentes du monde réel, comme les détails d’un restaurant.

L’entreprise a indiqué que ces concepts expérimentaux sont intégrés dans des explorations de produits précoces, notamment des expériences basées sur le navigateur dans Chrome et des interfaces matérielles prototypes. Dans ces implémentations, les utilisateurs pourraient interagir avec l’assistance IA directement par des actions de pointage, comme comparer des éléments sélectionnés sur une page web ou visualiser des objets dans un environnement physique. Des fonctionnalités expérimentales supplémentaires sont également en cours de test sur d’autres plateformes, reflétant une exploration continue de la conception d’interfaces utilisateur intégrant l’IA.