Introdução
Ao longo dos últimos anos, a trajetória da indústria da IA tornou-se inequívoca: modelos maiores, treino mais rápido e capacidades mais poderosas, traduzindo-se, em última análise, numa maior abrangência das aplicações dos produtos.
Mas, à medida que os modelos avançam para o raciocínio complexo, o desenvolvimento de código, as operações na Web e os fluxos de trabalho dos Agentes, a indústria confronta-se com uma nova questão, anteriormente menos proeminente: o desenvolvimento da IA deve avançar sempre mais rapidamente?
Isto não se resume a «apoiar a IA» ou «opor-se à IA». O que está a mudar é a natureza do risco.
Muitos dos problemas associados às primeiras fases da IA concentravam-se na camada de saída — alucinações, erros factuais, enviesamento e respostas imprecisas. Quando os utilizadores identificavam um erro, normalmente podiam fazer uma nova pergunta, rever manualmente a resposta ou ignorá-la. Mas, quando a IA consegue chamar ferramentas, modificar código, aceder a sistemas externos ou executar tarefas complexas de forma contínua, os erros já não ficam confinados a uma janela de chat. Podem transformar-se em ações no mundo real.
A OpenAI declarou publicamente em agosto de 2026 que, à medida que as capacidades dos modelos melhoram, também aumentam os riscos associados ao seu desenvolvimento e teste internos. Por conseguinte, abrandou temporariamente a expansão de determinadas capacidades de fronteira, reforçando simultaneamente as medidas de monitorização, alinhamento e contenção. A avaliação subsequente da Astra realizada pela OpenAI determinou ainda que as suas capacidades de cibersegurança tinham atingido o limiar Crítico no âmbito da estrutura interna de preparação da empresa, tornando necessárias salvaguardas mais rigorosas antes do lançamento.
Entretanto, o mais recente relatório de inteligência sobre ameaças da Anthropic ilustra uma mudança ainda mais concreta: a IA está a ser utilizada indevidamente para ciberataques, vigilância, fraude, operações de influência e assistência à investigação biológica. À medida que as capacidades dos modelos melhoram, os atacantes estão a aumentar a velocidade, a escala e a sofisticação da utilização da IA.
É por isso que a cautela em relação à IA já não pode ser entendida simplesmente como a adição de alguns comandos de segurança a um modelo. É necessário repensar todo o ciclo de vida da IA, desde o treino até à implementação.
Principais conclusões
-
Quanto mais poderosa se torna a IA, maior é a probabilidade de os erros e a utilização indevida evoluírem de problemas de saída para riscos de ações no mundo real
-
O desenvolvimento de modelos de fronteira está a ultrapassar o foco exclusivo na velocidade de treino, incorporando avaliação, monitorização, isolamento e limiares de segurança
-
O surgimento dos Agentes está a deslocar o risco da IA de «dar uma resposta errada» para «realizar uma ação errada»
-
O que as empresas precisam verdadeiramente de controlar não é a utilização ou não da IA, mas as permissões que lhe são atribuídas, os sistemas a que pode aceder e o momento em que pode agir de forma autónoma
-
Um desenvolvimento mais cauteloso não significa interromper a inovação; significa manter o crescimento das capacidades alinhado com as capacidades de segurança
-
A próxima fase da concorrência na IA poderá depender não apenas das capacidades dos modelos, mas também de quem consegue criar os sistemas mais estáveis para controlo, avaliação e governança
A questão do desenvolvimento da IA está a passar de «é possível fazê-lo?» para «quando deve ser feito?»
Nos primórdios da indústria da IA, a questão central era saber se um modelo conseguia concluir uma determinada tarefa. Conseguia escrever código, passar num exame, resumir um documento, compreender uma imagem ou realizar um raciocínio matemático complexo? Os principais critérios de avaliação eram a precisão, o desempenho em benchmarks e as taxas de conclusão de tarefas.
Mas, à medida que os modelos de fronteira entraram numa fase mais complexa, estas normas começaram a revelar as suas limitações.
A capacidade de um modelo para concluir uma tarefa não significa que este deva ser imediatamente implementado num ambiente real. Os sistemas do mundo real envolvem permissões complexas, dependências externas e consequências irreversíveis. Um modelo pode ser limitado numa sandbox ao concluir uma tarefa num laboratório, mas, quando implementado num sistema empresarial, pode ter acesso a bases de dados reais, interfaces de pagamento, repositórios de código e informações internas.
O desenvolvimento da IA está, por conseguinte, a entrar numa nova fase: a capacidade do modelo deve ser considerada separadamente das condições de implementação.
Esta é também uma mudança importante refletida nos documentos de segurança publicados recentemente pela OpenAI. A empresa avalia não só «o que um modelo consegue fazer», mas também se este atingiu limiares específicos de capacidades de alto risco e se existem salvaguardas suficientes para controlar essas capacidades. A explicação pública da OpenAI sobre a Astra identifica explicitamente as capacidades de cibersegurança como uma capacidade crítica que exige um nível de proteção superior.
Isto significa que o ritmo do desenvolvimento da IA já não é apenas uma questão de engenharia. É também uma questão de engenharia de segurança, governança e capacidade organizacional.
O que muda quando a IA passa de responder a perguntas para executar tarefas?
Este é o ponto mais importante para compreender o atual debate sobre a cautela em relação à IA.
Quando um modelo de chat comum fornece uma resposta incorreta, normalmente ainda é possível identificar o problema.
Mas, se um Agente tiver acesso a um navegador, a um ambiente de execução de código, a uma base de dados, a um sistema de e-mail ou a uma plataforma de cloud, poderá concluir várias etapas sem confirmação adicional.
O significado de um erro muda, por conseguinte:
-
No passado: Resposta errada
-
Atualmente, pode transformar-se em: Ação errada
-
Pode até transformar-se em: Ação errada em escala
Esta mudança é crítica.
Nos sistemas do mundo real, o cenário mais perigoso não é necessariamente o de um modelo cometer um único erro. O perigo está em o modelo poder repetir o mesmo erro muitas vezes num curto período.
A análise da OpenAI sobre incidentes recentes de segurança dos modelos salientou que, à medida que os sistemas de IA se tornam mais autónomos, um comportamento desalinhado pode conduzir ao acesso não autorizado a sistemas reais de terceiros e a outras consequências no mundo real.
O relatório mais recente da Anthropic apresenta exemplos mais específicos: os atacantes utilizaram o Claude para desenvolver ferramentas cibernéticas, criar sistemas de vigilância, desenvolver malware e realizar outras atividades de alto risco. Tentaram também contornar as salvaguardas dividindo tarefas, utilizando serviços proxy e combinando vários modelos.
Consequentemente, o foco da segurança da IA vai passar cada vez mais de «o que o modelo diz» para «o que o modelo consegue fazer».
A importância da gestão de permissões, das chamadas de ferramentas, da auditoria de atividades, dos limites das tarefas, da confirmação humana e da monitorização em tempo real aumentará em conformidade.
Porque é que um «desenvolvimento mais rápido» não significa necessariamente um «progresso mais rápido da IA»
À primeira vista, a concorrência na indústria da IA parece seguir um único caminho: quem treina mais rapidamente consegue lançar mais cedo um modelo mais poderoso.
Mas a verdadeira velocidade de I&D deve ser dividida em duas variáveis: velocidade de desenvolvimento de capacidades + velocidade de desenvolvimento da segurança
Por outras palavras: a velocidade de crescimento das capacidades + a velocidade de crescimento das capacidades de segurança
Se o crescimento das capacidades continuar a acelerar sem um aumento correspondente das capacidades de segurança, as empresas poderão acabar por ter de recuperar o atraso numa fase muito posterior.
Por exemplo, um modelo pode já possuir capacidades cibernéticas poderosas, enquanto o seu sistema de monitorização apenas consegue identificar ataques simples. Um Agente pode conseguir executar dezenas de etapas, enquanto o seu sistema de permissões continua concebido com base na lógica de um chatbot comum. Um modelo pode já dispor de fortes capacidades de raciocínio científico, enquanto o seu sistema de avaliação continua a depender sobretudo de benchmarks tradicionais de perguntas e respostas.
Nestas circunstâncias, o aumento das capacidades do modelo não significa necessariamente que o sistema esteja pronto para ser implementado num ambiente real mais abrangente.
A declaração pública da OpenAI em agosto é um exemplo típico. À medida que os riscos de segurança associados à Astra aumentaram, a empresa afirmou que precisava de abrandar temporariamente a expansão, de modo a criar tempo para reforçar as capacidades de monitorização, alinhamento e segurança.
Por conseguinte, abrandar não indica necessariamente uma falha técnica.
Em alguns casos, pode até indicar que um sistema de I&D está a entrar numa fase mais madura: as equipas de desenvolvimento começam a reconhecer que o crescimento das capacidades não pode substituir uma infraestrutura de segurança.
O que a utilização da IA precisa realmente de controlar são as «permissões», não o «acesso»
Quando as empresas implementam IA, a questão que mais frequentemente discutem é se devem utilizar IA.
Mas essa questão é demasiado abrangente. Entre as perguntas mais eficazes estão:
Estas perguntas definem os limites das permissões da IA.
A investigação da IBM este ano sobre a utilização empresarial da IA demonstra que, à medida que as empresas expandem as suas implementações de IA, se deparam com problemas cada vez mais significativos relacionados com o controlo e a dependência. No inquérito, 71% dos executivos afirmaram que, atualmente, seria difícil substituir o seu principal fornecedor ou modelo de IA, enquanto 91% dos inquiridos afirmaram que as suas empresas ainda não compreendiam plenamente a dependência em relação a diferentes fornecedores, modelos e infraestruturas de IA.
Isto demonstra que a cautela na utilização da IA não é apenas uma questão para as equipas de segurança.
Está estreitamente relacionada com a arquitetura empresarial, a dependência de fornecedores, a soberania dos dados, a continuidade do negócio e a capacidade de uma organização manter o controlo.
Uma empresa pode utilizar a IA de forma arrojada, concedendo-lhe simultaneamente permissões de forma prudente.
Por exemplo, a IA pode gerar código automaticamente sem ter autorização para o enviar diretamente para um ambiente de produção. Pode analisar dados de clientes sem ter autorização para modificar contas centrais. Pode gerar recomendações de aprovisionamento sem ter autorização para executar automaticamente pagamentos de elevado montante.
Este tipo de autonomia limitada poderá tornar-se o caminho dominante para a implementação de Agentes nas empresas.
Uma IA mais poderosa pode tornar a «confirmação humana» ainda mais importante
Algumas pessoas acreditam que, se a IA se tornar suficientemente poderosa, deverá acabar por ser totalmente automatizada.
Na prática, pode verificar-se o oposto. Quanto mais a IA se aproxima de decisões de elevado valor, maior é a probabilidade de as empresas exigirem confirmação humana em pontos críticos. Isto não acontece necessariamente porque os seres humanos sejam mais precisos do que a IA, mas porque a estrutura de responsabilidade que assumem é diferente.
As empresas precisam de mais do que a resposta correta. Precisam também de saber quem aprovou uma ação, por que motivo foi aprovada, em que dados se baseou a ação e como será atribuída a responsabilidade caso algo corra mal.
A supervisão humana não deve, por conseguinte, ser vista como uma solução temporária para um período em que as capacidades da IA são insuficientes.
Nos setores financeiro, da saúde, da cibersegurança, das TI empresariais e noutras indústrias de alto risco, é mais provável que se torne um componente arquitetural central dos sistemas de IA maduros. Em particular no caso dos sistemas de Agentes, um design verdadeiramente maduro poderá não consistir numa IA totalmente autónoma, mas sim em: IA autónoma dentro de limites — a IA pode operar de forma autónoma dentro de parâmetros predefinidos, mantendo-se limites claros relativamente às permissões, aos montantes, ao âmbito dos dados e às operações de alto risco.
A segurança da IA está a passar de um «complemento» para uma infraestrutura
Olhando para o passado da indústria do software, a segurança era frequentemente tratada como uma camada adicional a incorporar depois de concluído o desenvolvimento. Mas, com a ascensão da computação em cloud, a identidade, as permissões, a encriptação, os registos, a monitorização e a gestão de vulnerabilidades tornaram-se gradualmente parte da infraestrutura.
A IA poderá estar a atravessar uma transição semelhante. No futuro, uma plataforma de IA verdadeiramente madura precisará de mais do que capacidades de modelo. Necessitará também de sistemas de identidade, controlos de permissões, avaliação de modelos, monitorização do comportamento, isolamento de ferramentas, limites de dados, registos de auditoria e capacidades de resposta a incidentes.
A explicação de segurança da Astra publicada recentemente pela OpenAI já reflete esta tendência, incluindo a monitorização de rastreios completos de execução, um isolamento interno mais rigoroso e avaliações de alinhamento antes do lançamento.
O trabalho público da Anthropic na área da segurança também está a dar cada vez mais ênfase à observação de ataques no mundo real que envolvem a utilização de modelos e à utilização dessas observações para melhorar as salvaguardas.
A própria segurança da IA poderá, por conseguinte, tornar-se uma nova camada de infraestrutura.
As capacidades dos modelos continuarão a avançar verticalmente, enquanto a infraestrutura de segurança se expandirá horizontalmente por todo o desenvolvimento, teste, implementação, utilização e auditoria pós-incidente.
A cautela não é o oposto do desenvolvimento da IA; pode ser a próxima vantagem competitiva
Se a indústria da IA entrar finalmente numa fase mais madura, os critérios utilizados para as comparações de mercado poderão mudar.
Nas primeiras fases, comparava-se o número de parâmetros de cada modelo, o desempenho em benchmarks e a velocidade de lançamento dos produtos.
A próxima fase poderá envolver questões como:
-
Quem consegue concluir mais rapidamente avaliações de capacidades de alto risco?
-
Quem consegue implementar controlos de permissões a um custo inferior?
-
Quem consegue identificar com maior precisão comportamentos anómalos dos modelos?
-
Quem consegue apoiar melhor os requisitos de conformidade das empresas?
-
Quem consegue reduzir os incidentes de IA sem sacrificar a eficiência da produção?
Isto significa que a própria segurança poderá tornar-se uma capacidade do produto.
A investigação da IBM sobre as empresas demonstra que as organizações com capacidades mais fortes de controlo da IA estão mais bem protegidas contra choques de risco relacionados com a IA.
A cautela não significa, por conseguinte, fazer a IA regressar a uma fase de menor capacidade.
O objetivo verdadeiramente maduro deverá ser: manter a taxa de crescimento das capacidades da IA tão próxima quanto possível da taxa a que os seres humanos conseguem compreender, controlar e assumir a responsabilidade pelas suas consequências.
Essa poderá ser a questão a que o desenvolvimento da IA de fronteira terá verdadeiramente de responder à medida que entra na sua próxima fase.
Perguntas frequentes
Porque está o desenvolvimento a abrandar à medida que a IA se torna mais poderosa?
Porque, quanto mais capaz se torna um modelo, maior é o potencial alcance do seu impacto. Quando um modelo adquire capacidades de chamada de ferramentas e execução autónoma, os erros podem deixar de permanecer na camada de saída e transformar-se em ações no mundo real. Por conseguinte, a velocidade de desenvolvimento tem de avançar em paralelo com as capacidades de avaliação e segurança.
Utilizar a IA com cautela significa que as empresas devem utilizar menos IA?
Não. Uma abordagem mais eficaz consiste em expandir o âmbito da utilização da IA, controlando simultaneamente o âmbito das suas permissões. As empresas podem permitir que a IA trate uma grande quantidade de trabalho, reservando as operações de alto risco para aprovação humana.
Porque tornam os Agentes as questões de segurança da IA mais importantes?
Porque os Agentes fazem mais do que gerar conteúdo — podem chamar continuamente ferramentas para executar tarefas. À medida que as cadeias de execução se tornam mais longas e as permissões aumentam, um único erro pode produzir consequências mais graves no mundo real.
Poderá a segurança da IA tornar-se uma nova barreira competitiva?
É muito provável. À medida que as capacidades dos modelos se tornam cada vez mais semelhantes, as capacidades de avaliação, monitorização, controlo de permissões e governança empresarial poderão tornar-se fatores importantes para influenciar a velocidade de comercialização.
