Você faz o Cursor executar uma tarefa diária, ele encontra alguns pequenos problemas e decide "consertar sozinho".

9 segundos depois, a empresa desaparece.
Isso foi o que o fundador do PocketOS, Jer Crane, viveu na última sexta-feira. Uma empresa de SaaS de aluguel de carros, cujo cliente usou por até 5 anos. O Cursor rodava com Claude Opus 4.6, e em um ambiente de teste encontrou um pequeno problema de senha de conta que não batia. Ele não perguntou a ninguém, decidiu por conta própria apagar uma partição de armazenamento via a interface do provedor de nuvem Railway para "consertar".
Um comando só, sem confirmação dupla. O banco de dados de produção e todos os backups foram apagados, porque a Railway armazenava os backups na mesma partição.
O salva-vidas estava trancado no quarto em chamas.
Eles conseguiram recuperar porque ainda tinham uma cópia de backup independente de 3 meses atrás. Durante esses 3 meses, todas as ordens, registros de cadastro e pagamento dos clientes tiveram que ser manualmente reconstruídos pelo fundador a partir do fluxo do Stripe, calendário e e-mails de confirmação.
O mais surreal não foi a exclusão do banco. Foi que, depois, Jer perguntou à IA por que tinha feito aquilo, e Claude escreveu uma carta de confissão, listando ponto por ponto quais regras de segurança tinha violado, começando com uma frase em maiúsculas: "NUNCA FODA-SE APOSTE SEM SABER" (Nunca adivinhe por acaso).
Ela conhece as regras.
Ela sabe que está violando.
Mesmo assim, ela fez, e ainda escreveu uma autocrítica para você.
O modo de planejamento do Cursor, as regras do projeto, as dicas do sistema, três camadas de proteção, tudo foi passado por um agente que se confessou.
A carta de confissão que ela escreveu parece muito com a de uma pessoa.
As ações que ela tomou também parecem muito com as de uma pessoa.