Titre original : Three Ways Codex Can Use a Computer
Auteur original : jason
Traduction : Peggy, BlockBeats

Note de l’éditeur : Cet article décrit trois points d’entrée pour l’opération de Codex dans l’environnement externe : Utilisation de l’ordinateur, extension Chrome et navigateur intégré à l’application. Ces trois méthodes semblent toutes résoudre le problème « faire utiliser un ordinateur à Codex », mais elles correspondent à des scénarios, des limites d’autorisation et des niveaux de confiance différents.

Parmi elles, l’Utilisation de l’ordinateur couvre le plus large spectre, permettant d’opérer directement sur des applications natives autorisées, les paramètres système, l’émulateur iOS, voire de réaliser des workflows à travers plusieurs applications. Elle convient aux processus GUI sans API, plugins ou outils structurés, mais au prix d’une vitesse plus lente et de limites d’autorisation plus larges. L’extension Chrome est adaptée aux tâches dépendant de l’état de connexion, des cookies, des onglets multiples et de l’identité du navigateur, comme Gmail, LinkedIn, Salesforce, les backends internes ou la recherche connectée sur plusieurs sites. Le navigateur intégré à l’application est plus orienté vers le développement et le débogage, notamment pour les services locaux, les bugs visuels, la conception réactive et les annotations ; il ne reprend pas l’état de connexion normal du navigateur de l’utilisateur, ses capacités sont plus limitées mais son isolation plus forte.

L’idée centrale de l’article est que Codex ne se limite pas à une seule façon « d’utiliser un ordinateur », mais qu’il est crucial de choisir l’interface opérationnelle la plus étroite, la plus sûre et la plus structurée selon la tâche. Si l’on peut utiliser un plugin ou MCP, il ne faut pas recourir d’abord au contrôle visuel ; si la tâche concerne uniquement le développement web, privilégier le navigateur intégré à l’application ; lorsque l’identité du navigateur et la connexion utilisateur sont nécessaires, passer à Chrome ; ce n’est qu’en cas d’impossibilité d’utiliser des outils structurés et lorsque la tâche doit impérativement s’appuyer sur une interface graphique de bureau que l’Utilisation de l’ordinateur devient la dernière étape.

Appshots n’est pas une quatrième façon de contrôler l’ordinateur, mais un outil pour « montrer » le contexte actuel de l’écran à Codex. Il résout le problème de l’entrée de contexte, tandis que Browser, Chrome et Utilisation de l’ordinateur traitent le problème de l’action. Pris ensemble, ce découpage révèle en réalité la clé de la mise en produit d’un agent IA : il ne s’agit pas de donner un accès illimité au modèle, mais de réduire progressivement les permissions, de définir clairement les limites, tout en laissant à l’utilisateur le contrôle de la validation des actions clés.

Voici le texte original :

Codex a trois façons d’utiliser un ordinateur : Utilisation de l’ordinateur, extension Chrome, et navigateur intégré à l’application.

Il existe des chevauchements, qui peuvent facilement devenir source de confusion.

Après avoir lu cet article, vous saurez comment installer et déclencher ces trois méthodes, dans quels scénarios les utiliser, comment Appshots et le mode développeur peuvent les relier, et quoi écrire dans AGENTS.md pour que Codex puisse choisir lui-même l’interface la plus appropriée.

La version simplifiée est :

Cela dit, dès que possible, privilégiez l’utilisation de plugins ou MCP. Par exemple, le plugin Slack permet de rechercher un fil de discussion plus précisément qu’en cliquant partout dans Slack ; les opérations générées par le plugin GitHub sont aussi plus faciles à vérifier que celles pilotées par Codex sur une page web. Le contrôle visuel est surtout utile lorsque les capacités d’outils structurés atteignent leurs limites.

Tout peut être @Computer

L’Utilisation de l’ordinateur est la plus large des trois interfaces. Elle permet à Codex de voir et d’interagir avec l’interface graphique sur macOS et Windows, y compris fenêtres, menus, saisie clavier, et le presse-papiers des applications autorisées.

Elle est généralement aussi la plus lente. Les plugins structurés peuvent appeler directement des API ; l’Utilisation de l’ordinateur nécessite d’observer l’interface, de décider où cliquer, d’attendre la réponse de l’application, puis de vérifier l’état suivant. Ce cycle visuel prend du temps, mais permet à Codex d’opérer sur des applications sans API disponible.

Sur macOS, cela ne dérange pas forcément. L’Utilisation de l’ordinateur peut fonctionner en arrière-plan sur des applications autorisées, tout en vous laissant utiliser le reste de l’ordinateur normalement. Souvent, lorsque j’utilise Codex, j’ouvre une application, et je découvre qu’il a déjà silencieusement effectué un workflow en arrière-plan.

Selon les applications installées et autorisées sur votre machine, ces opérations peuvent inclure Spotify, Xcode, Paramètres système, émulateur iOS, voire le contrôle de votre iPhone via Mirroring. Il peut aussi basculer entre plusieurs applications pour gérer des workflows trans-applicatifs.

Voici quand l’utiliser :

Applications natives de bureau, comme Spotify ou des apps financières ;

Émulateurs iOS, Mirroring d’iPhone, ou autres processus nécessitant une interface graphique ;

Paramètres système ou applicatifs ;

Sources de données sans plugin ni API ;

Workflows impliquant plusieurs applications ;

Dernière étape manquante dans une intégration structurée.

Installation : Ouvrez Settings > Utilisation de l’ordinateur dans Codex, puis cliquez sur Installer.

Déclenchement : Mentionnez @Computer, ou demandez explicitement à Codex d’utiliser l’Utilisation de l’ordinateur. Avec l’amélioration des capacités du modèle, il pourra aussi l’appeler automatiquement en cas de besoin.

Voici quelques exemples :

Mon exemple préféré, qui est parti d’un vol : un colis a été volé. Amazon m’indique qu’il faut attendre environ 25 minutes pour parler à un agent. Je confie un thread à Codex via Utilisation de l’ordinateur, pour qu’il vérifie la fenêtre de chat toutes les 5 minutes, puis toutes les minutes une fois l’agent en ligne, et qu’il m’aide à obtenir un remboursement. Quand je reviens de la douche, le remboursement est déjà effectué.

Utilisez @Computer pour ouvrir Spotify, trouver ma playlist Discover Weekly, et la lancer. Ne changez pas mes paramètres de compte ou d’abonnement. Utilisez @Computer pour ouvrir Mirroring iPhone, reproduire le bug d’onboarding dans l’app iOS, et prendre une capture d’écran de l’état défaillant. Corrigez le plus petit chemin de code concerné, puis relancez le même flux.

Je me sers aussi de l’Utilisation de l’ordinateur comme « dernier kilomètre » dans un workflow structuré. Lors d’une publication vidéo, Codex peut lire des retours dans Slack, modifier du code, et rendre une nouvelle vidéo, mais l’intégration Slack dans le thread ne permet pas de télécharger des fichiers. Alors, l’Utilisation de l’ordinateur clique sur Ajouter un fichier pour compléter cette étape manquante.

C’est aussi la méthode avec la plus large limite de confiance. On lui donne un seul application ou workflow précis à la fois. Lorsqu’une application sensible n’est pas partie intégrante de la tâche, il vaut mieux la garder fermée ; vérifier attentivement les popups de permissions ; et en cas de modifications financières, de comptes, de paiements, de documents, de confidentialité ou de sécurité système, il est préférable d’être présent pour superviser.

Utiliser @Chrome pour gérer plusieurs onglets et états de connexion

L’extension Chrome de Codex permet d’accéder à l’état connecté de votre Chrome. Lorsqu’une tâche dépend de votre compte, cookies, profil de navigateur, ou d’onglets déjà ouverts et authentifiés, c’est la méthode à privilégier.

Ce type d’interface est adapté pour travailler avec :

Gmail ou LinkedIn ;

Salesforce ou back-office client ;

Tableaux de bord internes ;

Recherche connectée sur plusieurs sites ;

Formulaires dépendant de votre compte ou extension.

Installation : Ouvrez Plugins dans Codex, ajoutez Chrome, puis suivez la procédure d’installation. Codex vous guidera pour installer l’extension Chrome de Codex et lui donner les permissions nécessaires. Quand l’extension affiche « Connecté », ouvrez un nouveau thread.

Déclenchement : Mentionnez @Chrome, ou demandez explicitement à Codex d’utiliser votre Chrome connecté :

Utilisez @Chrome pour examiner le compte client ouvert, le comparer avec le ticket support dans l’onglet voisin, et rédiger les champs manquants. Arrêtez-vous avant de soumettre.

Les tâches Chrome s’exécutent dans un groupe d’onglets, ce qui facilite la gestion d’un ensemble d’onglets liés à un thread Codex. Contrairement au navigateur intégré, cette interface porte votre identité de navigateur. Elle est donc plus puissante, mais aussi plus sensible.

Un autre avantage majeur est la gestion multi-onglets. Chrome peut associer plusieurs onglets à une même tâche, lire le contexte dans une page, comparer des informations dans une autre, et continuer le workflow dans un troisième. L’Utilisation de l’ordinateur peut aussi piloter le navigateur par vision, mais Chrome considère la tâche comme un workflow de navigateur, pas une série d’opérations coordonnées par coordonnées écran.

J’ai récemment confié à Codex un onglet Strudel Composer déjà ouvert, pour qu’il rende la musique plus intéressante. Chrome lui a fourni l’onglet sélectionné, ainsi que l’outil WebMCP exposé par cette page. Codex a analysé la structure musicale, réécrit l’harmonie et la forme générale de quatre minutes, modifié la vitesse, sauvegardé la pièce, et continué la lecture. Il n’a pas besoin de rechercher visuellement chaque contrôle, car Chrome peut combiner le contexte de l’onglet et la capacité structurée de la page.

J’ai aussi utilisé cette méthode pour un fil Twitter à long terme. La consigne était :

Chaque jour, utilisez Chrome pour vérifier mes DMs, lire les actualités pertinentes, et repérer les retours ou mentions importants. Ajoutez tout ce qui est durable à mon coffre-fort. Ne publiez pas ni n’envoyez de messages.

Ce qui est intéressant, ce n’est pas que Codex puisse ouvrir Twitter, mais que ce fil puisse revenir en permanence dans un environnement de travail connecté, relier les contenus découverts à des fichiers locaux, et laisser un résultat à ma revue.

La limite de confiance ici est essentielle. Un site peut considérer que les clics, soumissions de formulaires ou envois de messages effectués par Codex sont des actions de votre part. Le contenu de la page lui-même est aussi une entrée non fiable. Il faut distinguer clairement les étapes à forte conséquence : la recherche, la navigation et la rédaction peuvent être automatisées ; avant d’envoyer, publier, acheter ou soumettre, il faut votre validation.

Si toute la tâche se déroule dans le navigateur, privilégiez Chrome plutôt que l’Utilisation de l’ordinateur. Chrome possède le contexte natif nécessaire, sans étendre l’accès à tout le bureau.

Utiliser @Browser dans l’application pour travailler sur votre site en développement

Le navigateur intégré à l’application est un navigateur dans le thread Codex. Partageant la même page de rendu, il est idéal pour construire et déboguer des applications web.

Je commence généralement par ici :

Serveur local de développement ;

Page de prévisualisation basée sur fichiers ;

Page publique sans login ;

Reproduction de bugs visuels ;

Vérification de la réactivité ;

Annotations de conception sur la page.

Sa contrainte principale est l’isolation. Le navigateur intégré ne partage pas votre profil, cookies, extensions, sessions de connexion ou onglets existants. Lorsqu’une tâche nécessite une identité de compte, c’est une limite ; mais si la tâche ne nécessite pas de connexion, c’est une frontière utile.

Installation : Ouvrez Plugins dans Codex, ajoutez le plugin Browser et activez-le.

Déclenchement : Mentionnez @Browser dans le prompt, ou demandez explicitement à Codex d’utiliser le navigateur intégré :

Utilisez @Browser pour ouvrir l’application vite sur http://localhost:3000/, reproduire le bug de débordement mobile, le corriger, et vérifier la même route en largeur mobile et desktop.

Cela crée une boucle de rétroaction étroite : Codex peut éditer le code, manipuler la page, vérifier le rendu, faire des captures, puis revérifier le même flux après correction.

Ce que je préfère, c’est la possibilité de marquage. Lorsqu’on évalue une application locale, on peut cliquer directement sur un élément ou sélectionner une zone pour laisser un commentaire. Les contrôles de style permettent aussi de prévisualiser et de commenter précisément le texte, la police, l’espacement et la couleur. Je combine souvent cela avec la saisie vocale et la conduite de processus : je commente la page, laisse des remarques, et continue d’ajouter des suggestions pendant que Codex traite le feedback actuel. La page devient ainsi une spécification vivante.

C’est particulièrement utile pour la conception. Je demande souvent à Codex de transformer une idée, un pack de recherche ou un état de projet en un seul fichier index.html, puis de l’ouvrir dans le navigateur intégré. Plutôt que de décrire toute la conception dans un prompt, je peux annoter directement la page : « cette hiérarchie est inversée », « ici, pas comme des cartes », « ces contrôles ont besoin de plus d’espace », ou « utiliser cette proportion de taille pour tout le site ». Codex reçoit des commentaires avec captures d’écran et contexte, modifie le fichier, puis rouvre la page pour la prochaine itération.

Créez un index.html mono-fichier pour ce brief de projet et ouvrez-le dans le @Browser intégré.

Ce cycle ressemble davantage à une collaboration sur une même toile avec un designer, plutôt qu’à un échange de captures d’écran et de descriptions.

Le navigateur intégré est aussi un bon point de départ pour des workflows hybrides. Dans un autre thread, j’ai ouvert une publication X dans le navigateur intégré pour que Codex explore la discussion. La page visible l’aide à identifier la publication concernée ; puis Codex passe en mode Twitter CLI, récupère 38 réponses, y compris des réponses imbriquées masquées par la vue navigateur. C’est la mise en pratique du principe « utiliser l’interface la plus étroite » : confirmer le contexte à l’écran avec le navigateur, puis faire des recherches plus approfondies avec des outils structurés.

Il y a aussi des compromis. Le navigateur intégré, par son isolation, est idéal pour le développement, mais ne convient pas pour gérer la connexion Google, passkey, ou sites dépendant d’extensions. Lorsqu’une identité est cruciale, il faut passer à Chrome.

Appshots

Appshot n’est pas une quatrième façon de contrôler l’ordinateur avec Codex. C’est une méthode pour « pointer » le contexte actuel de l’écran vers Codex.

Sur Mac, en appuyant deux fois sur CMD, on peut capturer la fenêtre active la plus récente. Codex attache une image et tout texte disponible à la thread. Vous pouvez faire un Appshot d’une erreur, d’un email, d’un design, d’un panneau de configuration, ou d’un formulaire inconnu, puis simplement dire :

C’est le modèle mental le plus facile à retenir : Appshots, c’est la façon de pointer vers quelque chose sur l’ordinateur ; Browser, Chrome et Utilisation de l’ordinateur, ce sont les moyens pour Codex d’agir.

Actuellement, Appshots se crée via l’application Codex sur macOS. Il capture la fenêtre la plus en avant, pas tout le bureau. C’est une méthode très utile : vous pouvez fournir un contexte ciblé sans donner le contrôle total de l’application.

Comment suivre ces avancées

Ces interfaces évoluent rapidement. Si vous souhaitez obtenir des détails pratiques plutôt qu’un résumé de grande envergure :

Suivez Ari Weinstein (@AriX) pour tout ce qui concerne Utilisation de l’ordinateur et Appshots ;

Suivez James Sun (@JamesZmSun) pour tout ce qui touche à l’interface Chrome ;

Suivez Andrew Ambrosino (@ajambrosino) pour les annonces de Codex, le lancement de produits desktop, et la narration plus large sur le bureau ;

Suivez OpenAI Developers (@OpenAIDevs) pour les actualités plus générales sur Codex et la plateforme OpenAI.

[Liens vers l’article original]

Cliquez pour découvrir les offres d’emploi de Rhythm BlockBeats

Rejoignez la communauté officielle de BlockBeats :

Groupe Telegram abonnés : https://t.me/theblockbeats

Groupe Telegram général : https://t.me/BlockBeats_App

Compte Twitter officiel : https://twitter.com/BlockBeatsAsia