Anthropic alertou para os riscos da autoaperfeiçoamento da IA - ForkLog: criptomoedas, IA, singularidade, futuro

ии-стартап Anthropic AI# Anthropic alertou para os riscos da autoaperfeiçoamento da IA

Os membros da equipa da Anthropic cada vez mais entregam às sistemas de IA a maior parte do desenvolvimento de novos modelos. Na empresa, viram nisso sinais de aproximação de um autoaperfeiçoamento recursivo.

De acordo com dados internos, mais de 80% do código dos produtos atuais da empresa foi escrito pelo Claude. Além disso, no segundo trimestre, o volume de código por engenheiro aumentou oito vezes em comparação com 2024.

Fonte: Instituto Anthropic. A chefe do Instituto Anthropic, Marina Favaro, e o cofundador da empresa, Jack Clark, escreveram que, com um volume suficiente de cálculos, a tendência pode levar a um sistema capaz de «projetar e desenvolver de forma totalmente autónoma o seu sucessor».

«Ainda não atingimos o ponto de não retorno, e o autoaperfeiçoamento recursivo não é inevitável. Mas pode acontecer antes que a maioria das instituições esteja preparada para isso», — destacaram os especialistas.

Benchmarkings e métricas

Em abril, Claude realizou mais de 800 correções — segundo o engenheiro responsável, levaria quatro anos para um humano fazer o mesmo.

Na resolução de tarefas abertas, a taxa de sessões bem-sucedidas do Claude aumentou para 76% em maio de 2026 — um aumento de 50 pontos percentuais em seis meses.

Fonte: Instituto Anthropic. Na Anthropic, afirmaram que a duração das tarefas que a IA consegue realizar de forma confiável duplica aproximadamente a cada quatro meses (contra os sete anteriores).

Na tarefa de acelerar o treino de um pequeno modelo de IA, Claude Opus 4, em maio de 2025, proporcionava em média um aumento de velocidade de cerca de três vezes, enquanto Mythos Preview, em abril de 2026, cerca de 52 vezes.

Fonte: Instituto Anthropic. Em testes internos, o modelo Mythos Preview demonstrou capacidade de resolver tarefas de pesquisa na área de segurança de IA. Em 800 horas de trabalho, um grupo de agentes resolveu 97% do problema de lacunas na experiência, enquanto dois investigadores humanos levaram uma semana para completar apenas 23% do volume.

Novos pontos críticos

Apesar dos avanços na escrita de código, os humanos continuam a ter vantagem na «julgamento de pesquisa» e na definição de objetivos estratégicos.

Na Anthropic, acreditam que, num futuro próximo, o papel dos desenvolvedores se deslocará da escrita de linhas de código para uma revisão aprofundada dos resultados do trabalho da rede neural. A verificação humana pode tornar-se o principal entrave à velocidade de desenvolvimento de novos modelos.

A empresa também admitiu que seria útil que o mundo pudesse desacelerar ou suspender temporariamente o desenvolvimento de sistemas avançados de IA, para que as instituições sociais e as pesquisas em alinhamento pudessem acompanhar o progresso.

Paralelamente, representantes da startup alertaram que uma desaceleração unilateral pode jogar contra quem a promove — jogadores menos cautelosos poderão reduzir a sua desvantagem. Sem um mecanismo global de coordenação, as decisões sobre segurança terão de ser tomadas sob pressão competitiva e geopolítica.

Recordamos que, em maio, a Anthropic publicou o primeiro relatório do Project Glasswing — um programa de busca de vulnerabilidades com o modelo Claude Mythos.

No mesmo mês, a empresa lançou o Claude Opus 4.8 e apresentou separadamente para o Claude Code uma função de processos de trabalho dinâmicos.

Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixado