Anthropic alertou sobre os riscos da autoaperfeiçoamento da IA - ForkLog: criptomoedas, IA, singularidade, futuro

ии-стартап Anthropic AI# Anthropic alertou sobre os riscos da autoaperfeiçoamento de IA

Membros da equipe da Anthropic cada vez mais transferem às sistemas de IA a maior parte do desenvolvimento de novos modelos. Na empresa, viram nisso sinais de aproximação de um autoaperfeiçoamento recursivo.

De acordo com dados internos, mais de 80% do código dos produtos atuais da empresa foi escrito pelo Claude. Além disso, no segundo trimestre, o volume de código por engenheiro aumentou oito vezes em comparação com 2024.

Fonte: Instituto Anthropic. A chefe do Instituto Anthropic, Marina Favaro, e o cofundador da empresa, Jack Clark, escreveram que, com volume suficiente de cálculos, a tendência pode levar a um sistema capaz de “projetar e desenvolver seu sucessor de forma totalmente autônoma”.

“Ainda não atingimos o ponto de não retorno, e o autoaperfeiçoamento recursivo não é inevitável. Mas pode acontecer antes que a maioria das instituições esteja preparada para isso”, — destacaram os especialistas.

Benchmarks e métricas

Em abril, Claude realizou mais de 800 correções — segundo o engenheiro responsável, levaria quatro anos para uma pessoa fazer o mesmo.

Em tarefas abertas, a taxa de sessões bem-sucedidas do Claude aumentou para 76% em maio de 2026 — um aumento de 50 pontos percentuais em seis meses.

Fonte: Instituto Anthropic. Na Anthropic, afirmaram que a duração das tarefas que a IA consegue realizar de forma confiável dobra aproximadamente a cada quatro meses (contra os sete anteriores).

Na tarefa de acelerar o treinamento de um pequeno modelo de IA, o Claude Opus 4, em maio de 2025, a velocidade de aumento foi, em média, cerca de três vezes, enquanto o Mythos Preview, em abril de 2026, aumentou aproximadamente 52 vezes.

Fonte: Instituto Anthropic. Em testes internos, o modelo Mythos Preview demonstrou capacidade de resolver tarefas de pesquisa na área de segurança de IA. Em 800 horas de trabalho, o grupo de agentes fechou 97% do gap problemático no experimento, enquanto dois pesquisadores humanos levaram uma semana para lidar com apenas 23% do volume.

Novos pontos críticos

Apesar dos avanços na escrita de código, os humanos continuam tendo vantagem em “julgamento de pesquisa” e na definição de objetivos estratégicos.

Na Anthropic, acreditam que, num futuro próximo, o papel dos desenvolvedores se deslocará de escrever linhas de código para uma revisão aprofundada dos resultados do trabalho da rede neural. A verificação humana pode se tornar o principal obstáculo na velocidade de desenvolvimento de novos modelos.

A empresa também admitiu que seria útil para o mundo ter a capacidade de desacelerar ou suspender temporariamente o desenvolvimento de sistemas avançados de IA, para que as instituições sociais e as pesquisas em alinhamento possam acompanhar o progresso.

Paralelamente, representantes da startup alertaram que uma desaceleração unilateral pode jogar contra quem tenta frear — jogadores menos cautelosos poderão reduzir a defasagem. Sem um mecanismo global de coordenação, as decisões de segurança terão que ser tomadas sob pressão competitiva e geopolítica.

Lembre-se, em maio, a Anthropic publicou o primeiro relatório do Projeto Glasswing — um programa de busca de vulnerabilidades usando o modelo Claude Mythos.

No mesmo mês, a empresa lançou o Claude Opus 4.8 e apresentou separadamente para o Claude Code uma função de processos de trabalho dinâmicos.

Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado