Título original: Three Ways Codex Can Use a Computer
Autor original: jason
Tradução: Peggy, BlockBeats

Nota do editor: Este artigo descreve três formas de entrada para o ambiente externo do Codex: Uso de Computador, Extensão Chrome e Navegador interno do aplicativo. Embora pareçam todas resolver o problema de “fazer o Codex usar o computador”, cada uma corresponde a diferentes cenários de tarefa, limites de permissão e níveis de confiança.

Dentre elas, o Uso de Computador cobre a maior abrangência, podendo operar diretamente aplicativos nativos autorizados, configurações do sistema, simuladores iOS, e até completar fluxos de trabalho entre múltiplos aplicativos. É adequado para processos GUI sem suporte de API, plugins ou ferramentas estruturadas, mas com o custo de menor velocidade e limites de permissão mais amplos. A extensão Chrome é ideal para tarefas que dependem de estado de login, cookies, múltiplas abas e identidade do navegador, como Gmail, LinkedIn, Salesforce, backends internos ou pesquisas logadas em vários sites. O Navegador interno do aplicativo é mais voltado para desenvolvimento e depuração, especialmente para serviços locais, bugs visuais, layouts responsivos e anotações de design; ele não herda o estado de login do navegador normal do usuário, tem capacidades mais restritas, mas maior isolamento.

A premissa central do artigo é que o Codex não possui apenas uma forma de “usar o computador”. O que realmente importa é escolher a interface de operação mais estreita, segura e estruturada, de acordo com a tarefa. Se for possível usar plugins ou MCP, não se deve priorizar controle visual; se a tarefa envolver apenas desenvolvimento web, prefira o Navegador interno; quando for necessário o estado de login do usuário, mude para Chrome; somente quando ferramentas estruturadas não forem suficientes e a tarefa depender de interface gráfica desktop, o Uso de Computador será a última milha.

Appshots não é uma quarta forma de controlar o computador, mas uma ferramenta para “mostrar o contexto da tela atual” ao Codex. Ela resolve o problema de entrada de contexto, enquanto Browser, Chrome e Uso de Computador resolvem o questão de ação. Visto em conjunto, esse sistema de camadas revela um aspecto chave na comercialização de produtos de IA: não é sobre dar permissões ilimitadas ao modelo, mas sim reduzir continuamente as permissões, definir limites claros e permitir que o usuário mantenha o controle de ações críticas.

A seguir, o texto original:

Existem três formas de usar o computador com Codex: Uso de Computador, Extensão Chrome e Navegador interno do aplicativo.

Elas têm alguma sobreposição, o que pode gerar confusão.

Ao ler este artigo, você saberá como instalar e ativar essas três formas, em quais cenários usá-las, como Appshots e Modo Desenvolvedor podem conectá-las, e o que escrever no AGENTS.md para que o Codex possa escolher automaticamente a interface de operação adequada.

A versão simplificada é:

Dito isso, sempre que possível, prefira usar plugins ou MCP. Por exemplo, o plugin do Slack permite uma busca mais precisa por um thread do que clicar por aí dentro do Slack; ações geradas por plugins do GitHub também são mais fáceis de verificar do que fazer o Codex controlar a página. Controle visual é mais indicado quando as capacidades de ferramentas estruturadas atingem seu limite.

Tudo pode ser @Computer

O Uso de Computador é a interface de operação com maior abrangência entre as três. Permite ao Codex visualizar e manipular interfaces gráficas no macOS e Windows, incluindo janelas, menus, entrada de teclado e a área de transferência de aplicativos autorizados.

Normalmente, é também a mais lenta. Plugins estruturados podem chamar APIs diretamente; o Uso de Computador precisa observar a interface, decidir onde clicar, esperar a resposta do aplicativo, e então verificar o próximo estado. Esse ciclo visual consome tempo, mas permite ao Codex operar aplicativos sem APIs disponíveis.

No macOS, essa lentidão nem sempre incomoda. O Uso de Computador pode operar aplicativos autorizados em segundo plano, enquanto você continua usando outras partes do computador. Muitas vezes, ao usar o Codex, percebo que ele já concluiu um fluxo de trabalho silenciosamente enquanto eu abria um aplicativo.

Dependendo dos aplicativos instalados e autorizados no seu computador, esses objetos de operação podem incluir Spotify, Xcode, Configurações do Sistema, simulador iOS, ou até espelhamento do iPhone. Pode também alternar entre múltiplos aplicativos, lidando com fluxos de trabalho que atravessam diferentes plataformas.

Quando a tarefa depende de:

Aplicativos nativos de desktop, como Spotify ou aplicativos financeiros;

Simuladores iOS, espelhamento de iPhone, ou outros processos que só operam via interface gráfica;

Configurações do sistema ou aplicativos;

Fontes de dados sem plugins ou APIs;

Fluxos de trabalho que envolvem múltiplos aplicativos;

A última etapa de uma integração estruturada que falta.

Modo de instalação: abra Configurações do Codex > Uso de Computador, e clique em Instalar.

Modo de ativação: mencione @Computer, ou peça explicitamente ao Codex para usar Uso de Computador. Com o avanço do modelo, ele também poderá ativar automaticamente quando necessário.

Alguns exemplos para testar:

Um exemplo favorito surgiu de um pacote roubado. A Amazon me disse que levaria cerca de 25 minutos para falar com o suporte. Passei uma thread do Codex para o Uso de Computador, que verificava a janela de chat a cada cinco minutos, trocando para uma verificação a cada minuto após o suporte aparecer, ajudando a obter o reembolso. Quando voltei do banho, o reembolso já tinha sido processado.

Use @Computer para abrir Spotify, encontrar minha playlist Discover Weekly, e iniciá-la. Não altere configurações de conta ou assinatura. Use @Computer para abrir espelhamento de iPhone, reproduzir o bug de onboarding no app iOS, tirar uma captura de tela do estado de falha. Corrija o menor caminho de código relevante, e execute o mesmo fluxo novamente.

Também uso o Uso de Computador como “última milha” em fluxos estruturados. Em uma publicação de vídeo, o Codex podia ler feedback do Slack, modificar código e renderizar um novo vídeo, mas a integração do Slack na thread não permitia upload de arquivos. Então, o Uso de Computador clicou em “Adicionar arquivo” para completar essa etapa ausente.

Ele também é a forma com maior limite de confiança. Dê a ele uma aplicação ou fluxo claro de cada vez. Quando aplicativos sensíveis não fazem parte da tarefa, mantenha-o fechado; revise cuidadosamente as permissões; e, ao lidar com finanças, contas, pagamentos, credenciais, privacidade ou mudanças de segurança do sistema, é melhor supervisionar pessoalmente.

Usando @Chrome para múltiplas abas e estado de login

A extensão Chrome do Codex permite que ele acesse seu estado de login no Chrome. Quando a tarefa depende de contas, cookies, perfis do navegador, ou abas já autenticadas, ela deve usar essa interface.

Ferramentas compatíveis incluem:

Gmail ou LinkedIn;

Salesforce ou backends de suporte;

Painéis internos;

Pesquisas logadas em múltiplos sites;

Formulários que dependem de sua conta ou extensões do navegador.

Modo de instalação: abra Plugins do Codex, adicione Chrome, e siga o fluxo de configuração. O Codex irá guiá-lo na instalação da extensão Chrome do Codex, e na concessão de permissões. Quando a extensão indicar “Conectado”, inicie uma nova thread.

Modo de ativação: mencione @Chrome, ou peça explicitamente ao Codex para usar seu Chrome logado:

Use @Chrome para revisar a conta do cliente aberta, comparar com o ticket de suporte na outra aba, e preencher os campos faltantes. Pare antes de enviar.

As tarefas no Chrome rodam em grupos de abas, facilitando manter juntas as abas relacionadas a uma mesma thread do Codex. Diferente do Navegador interno, essa interface carrega sua identidade do navegador, tornando-a mais poderosa e sensível.

Outro benefício importante é o controle de múltiplas abas. O Chrome permite associar várias abas a uma mesma tarefa, ler contexto de uma página, consultar informações em outra, e continuar o fluxo em uma terceira. O Uso de Computador também pode controlar o navegador visualmente, mas o Chrome entende a tarefa como um fluxo de trabalho de navegador, não uma sequência de coordenadas na tela.

Recentemente, uma thread me pediu para passar uma aba do Strudel Composer já aberta ao Codex, para que ele tornasse a música mais interessante. O Chrome forneceu a aba selecionada e a ferramenta WebMCP exposta na página. O Codex analisou a estrutura da música, reescreveu harmonias e a forma geral de quatro minutos, ajustou a velocidade, salvou a faixa, e continuou a reprodução. Ele não precisou procurar visualmente cada controle, pois o Chrome combinou o contexto da aba com a capacidade estrutural da página.

Também usei para um longo thread no Twitter. A instrução geral foi:

Todo dia, use Chrome para verificar minhas mensagens diretas, ler notícias relevantes, e procurar feedback ou menções importantes. Adicione qualquer coisa duradoura ao meu vault. Não poste nem envie mensagens.

O interessante não é que o Codex possa abrir o Twitter, mas que esse thread possa retornar continuamente ao mesmo ambiente logado, conectando descobertas a arquivos locais, e deixando um resultado para minha revisão.

A confiança aqui é fundamental. Sites podem interpretar cliques, envios de formulários e mensagens como ações suas. O conteúdo da página também é entrada não confiável. Separe claramente passos de maior impacto: pesquisa, navegação e rascunho podem ser automáticos; envio, publicação, compra ou submissão requerem sua revisão antes.

Se toda a tarefa for feita no navegador, prefira o Chrome ao Uso de Computador. O Chrome possui o contexto nativo necessário, sem ampliar o acesso ao desktop.

Usando @Browser no aplicativo para desenvolver seu site

O Navegador interno do aplicativo é um navegador dentro do thread do Codex. Como compartilham a mesma renderização, é especialmente útil para construir e depurar aplicações web.

Costumo começar por aqui:

Servidores de desenvolvimento local;

Páginas de pré-visualização baseadas em arquivo;

Páginas públicas sem login;

Reprodução de bugs visuais;

Verificação de layouts responsivos;

Deixar comentários de design nos elementos da página.

A maior limitação é o isolamento. O navegador interno não usa suas configurações, cookies, extensões, sessões de login ou abas existentes do navegador normal. Quando a tarefa exige autenticação, isso é uma limitação; mas, se não, é uma fronteira útil.

Modo de configuração: abra Plugins do Codex, adicione o plugin Browser e ative-o.

Modo de ativação: mencione @Browser na prompt, ou peça explicitamente ao Codex para usar o navegador interno:

Use @Browser para abrir o app vite em http://localhost:3000/, reproduzir o bug de overflow móvel, corrigi-lo, e verificar a mesma rota em larguras de desktop e mobile.

Isso cria um ciclo de feedback estreito: o Codex pode editar código, manipular a página, verificar o render, tirar screenshots, e revalidar após correções.

Minha parte favorita é a anotação. Ao revisar uma aplicação local, posso clicar em elementos, selecionar áreas e deixar comentários. Os controles de estilo também permitem uma visualização mais precisa de textos, fontes, espaçamentos e cores. Costumo combinar isso com entrada de voz e orientações de processo: reviso a página, deixo comentários, e enquanto o Codex processa o feedback, adiciono mais observações. A própria página vira uma especificação.

Isso é especialmente útil para design. Frequentemente peço ao Codex que organize uma ideia, pacote de pesquisa ou estado de projeto em um arquivo index.html, e o abra no navegador interno. Em vez de descrever toda a ideia em outro prompt, posso marcar diretamente na página real: “Essa hierarquia está invertida”, “Aqui não precisa parecer cartão”, “Esses controles precisam de mais espaço”, ou “Use essa proporção de tamanho em todo o site”. O Codex recebe comentários com capturas e contexto, modifica o arquivo, e reabre a página para a próxima rodada.

Crie um index.html de arquivo único para este briefing do projeto e abra-o no @Browser interno.

Esse ciclo parece mais uma colaboração em uma mesma tela com um designer, do que uma troca de screenshots e textos.

O navegador interno também é útil como ponto de partida para fluxos híbridos. Em outro thread, abri uma postagem do X no navegador interno, para que o Codex investigasse a discussão relacionada. A página ajudou a identificar qual postagem eu quis dizer; depois, o Codex trocou para o Twitter CLI, recuperando 38 respostas, incluindo respostas aninhadas ocultadas na visualização do navegador. Essa é a prática do princípio de “usar a interface mais estreita”: confirmar o contexto na tela, e usar ferramentas estruturadas para buscas mais profundas.

Há também uma troca de trade-offs. O isolamento do navegador interno o torna ótimo para desenvolvimento, mas não é adequado para sites que exigem login do Google, passkeys, ou dependem de extensões do navegador. Quando a identidade é importante, mude para Chrome.

Appshots

Appshot não é uma quarta forma de controle do computador pelo Codex. É uma maneira de apontar o contexto visual ao Codex.

No Mac, pressionar duas vezes CMD captura a janela mais recente. O Codex anexa uma imagem e todo texto disponível à thread. Você pode fazer um Appshot de um erro, email, design, painel de configurações, ou formulário desconhecido, e simplesmente dizer:

Essa é a minha metáfora mental mais fácil de lembrar: Appshots é a sua forma de apontar para algo no computador; Browser, Chrome e Uso de Computador são as formas do Codex agir.

Atualmente, Appshots é criado pelo aplicativo do Codex no macOS. Ele captura a janela mais à frente, não o desktop inteiro. Isso o torna uma ferramenta útil: você fornece um contexto focado, sem dar controle total sobre o aplicativo.

Como acompanhar esses avanços

Essas interfaces evoluem rapidamente. Se deseja detalhes práticos, ao invés de esperar por um grande resumo de lançamento:

Siga Ari Weinstein (@AriX) para novidades sobre Uso de Computador e Appshots;

Siga James Sun (@JamesZmSun) para novidades relacionadas ao Browser;

Siga Andrew Ambrosino (@ajambrosino) para novidades sobre lançamentos do Codex e narrativas maiores de produtos desktop;

Siga OpenAI Developers (@OpenAIDevs) para notícias mais amplas do Codex e da plataforma OpenAI.

[Link do artigo original]

Clique para conhecer as vagas na BlockBeats

Participe do grupo oficial da BlockBeats no Telegram:
Telegram: https://t.me/theblockbeats
Grupo de discussão no Telegram: https://t.me/BlockBeats_App
Conta oficial no Twitter: https://twitter.com/BlockBeatsAsia