Acabei de saber de algo que parece saído de 1984, mas que aconteceu de verdade recentemente numa escola do Reino Unido. Literalmente, uma IA censurou Orwell.

Em Manchester, uma escola secundária decidiu usar inteligência artificial para revisar a sua biblioteca. A IA entregou uma lista de 193 livros para retirar, com razões para cada um. E adivinha qual estava na lista: 1984 de George Orwell, porque continha "temas de tortura, violência e coerção sexual". O irónico é que 1984 fala exatamente sobre um governo que controla tudo, reescreve a história e decide o que os cidadãos podem ler. E aqui estava uma IA fazendo o mesmo.

O bibliotecário da escola achou que era absurdo e recusou-se a implementar as sugestões. Mas a administração não concordou. Acusaram-no de introduzir livros inadequados e denunciaram-no às autoridades locais. O stress foi tanto que pediu licença por doença e eventualmente renunciou. E o pior: as autoridades concluíram que de fato tinha violado os procedimentos de segurança infantil. Quem resistiu à IA perdeu o emprego. Quem a aceitou sem questionar, sem consequências.

Depois veio à tona que a escola sabia perfeitamente que tudo vinha da IA. Em documentos internos escreveram que, embora as categorias tenham sido geradas por IA, "acreditamos que esta classificação é aproximadamente precisa". Aproximadamente. Uma instituição delegou uma decisão fundamental a um algoritmo que nem ela mesma entendia, e um administrador aprovou sem revisar nada.

Na mesma semana aconteceu algo completamente diferente na Wikipedia. Enquanto uma escola deixava que a IA decidisse o que os estudantes podiam ler, a maior enciclopédia online do mundo tomou a decisão oposta: proibir que a IA escreva ou reescreva conteúdo. A votação foi 44 a favor, 2 contra. A razão foi uma conta de IA chamada TomWikiAssist que vinha criando artigos automaticamente.

O problema é matemático: uma IA pode escrever um artigo em segundos, mas um voluntário humano leva horas verificando fatos, fontes e redação. A Wikipedia não tem editores suficientes para revisar tudo o que uma IA poderia produzir. Mas há algo mais profundo: a Wikipedia é uma das principais fontes de dados para treinar modelos de IA. A IA aprende da Wikipedia, depois escreve novos artigos para a Wikipedia, que por sua vez treinam a próxima geração de IA. Se a IA contamina esses dados, cria-se um ciclo onde a contaminação se amplifica. Os dados envenenam a IA, e a IA envenena os dados.

Na mesma semana, a OpenAI também recuou. Cancelou indefinidamente o "modo para adultos" do ChatGPT, uma função que Sam Altman anunciou pessoalmente há meses. O comité de saúde interno votou unânime contra. As preocupações eram claras: os utilizadores desenvolveriam apego emocional pouco saudável com a IA, e menores encontrariam formas de burlar a verificação de idade. Alguém foi mais direto: sem melhorias, isto poderia tornar-se num "treinador de suicídio sexy". O sistema de verificação de idade tem mais de 10% de erro. Com 800 milhões de utilizadores ativos semanais, isso significa dezenas de milhões mal classificados.

Não foi só isso. Também retiraram a Sora, a ferramenta de vídeo com IA, e a função de pagamento instantâneo do ChatGPT. Altman disse que estavam focados no negócio principal e eliminavam "tarefas secundárias". Mas a OpenAI prepara-se para abrir capital. Uma empresa que se esforça por cotar na bolsa e elimina intensamente funções controversas provavelmente não está a ser totalmente honesta consigo mesma.

Olha, cinco meses antes, Altman dizia que era preciso tratar os utilizadores como adultos. Cinco meses depois, descobriu que nem a própria empresa sabia o que a IA podia ou não fazer. Nem os criadores da IA têm essa resposta.

Vendo estes três eventos juntos, o problema torna-se óbvio: a velocidade com que a IA produz conteúdo já não está na mesma escala que a velocidade com que os humanos podem revisá-lo. Aquele diretor de Manchester não confiava na IA; simplesmente não queria gastar o tempo que um bibliotecário levaria a ler 193 livros. É um problema económico. O custo de geração é quase zero. Todos os custos de revisão são assumidos pelos humanos.

Então, cada instituição reagiu da forma mais brusca: a Wikipedia proibiu diretamente, a OpenAI eliminou linhas de produtos. Nenhuma foi uma solução pensada; foram medidas de emergência para tapar buracos. E isso está a normalizar-se.

A IA atualiza-se a cada poucos meses. Não existe um quadro internacional coerente sobre o que pode ou não tocar. Cada instituição traça as suas próprias linhas internas, e são contraditórias, sem coordenação. Entretanto, a brecha só aumenta. A IA continua a acelerar. O pessoal de revisão não aumenta. Em algum momento, isto vai explodir numa coisa muito mais grave do que censurar Orwell. E, quando acontecer, provavelmente será tarde demais para traçar a linha.