Acabo de enterarme de algo que suena sacado de 1984 pero que pasó de verdad hace poco en una escuela del Reino Unido. Literal, una IA censuró a Orwell.

En Manchester, una escuela secundaria decidió usar inteligencia artificial para revisar su biblioteca. La IA le entregó una lista de 193 libros para retirar, con razones para cada uno. Y adivina cuál estaba en la lista: 1984 de George Orwell, porque contenía "temas de tortura, violencia y coacción sexual". Lo irónico es que 1984 habla exactamente sobre un gobierno que controla todo, reescribe la historia y decide qué pueden leer los ciudadanos. Y aquí estaba una IA haciendo lo mismo.

El bibliotecario de la escuela pensó que era absurdo y rechazó implementar las sugerencias. Pero la administración no estuvo de acuerdo. Lo acusaron de introducir libros inapropiados y lo denunciaron ante las autoridades locales. El estrés fue tanto que pidió licencia por enfermedad y eventualmente renunció. Y lo peor: las autoridades concluyeron que efectivamente había violado los procedimientos de seguridad infantil. Quien resistió la IA perdió su empleo. Quien la aceptó sin cuestionarla, sin consecuencias.

Después salió a la luz que la escuela sabía perfectamente que todo vino de la IA. En documentos internos escribieron que aunque las categorías fueron generadas por IA, "creemos que esta clasificación es aproximadamente precisa". Aproximadamente. Una institución delegó una decisión fundamental a un algoritmo que ni ella misma entendía, y un administrador la aprobó sin revisar nada.

La misma semana sucedió algo completamente diferente en Wikipedia. Mientras una escuela dejaba que la IA decidiera qué podían leer sus estudiantes, la enciclopedia en línea más grande del mundo tomó la decisión opuesta: prohibir que la IA escriba o reescriba contenido. La votación fue 44 a favor, 2 en contra. La razón fue una cuenta de IA llamada TomWikiAssist que había estado creando artículos automáticamente.

El problema es matemático: una IA puede escribir un artículo en segundos, pero un voluntario humano tarda horas verificando hechos, fuentes y redacción. Wikipedia no tiene suficientes editores para revisar todo lo que una IA podría producir. Pero hay algo más profundo: Wikipedia es una de las principales fuentes de datos para entrenar modelos de IA. La IA aprende de Wikipedia, luego escribe nuevos artículos para Wikipedia, que a su vez entrenan a la próxima generación de IA. Si la IA contamina esos datos, se crea un ciclo donde la contaminación se amplifica. Los datos envenenan a la IA, y la IA envenena los datos.

Esa misma semana, OpenAI también se echó para atrás. Canceló indefinidamente el "modo para adultos" de ChatGPT, una función que Sam Altman había anunciado personalmente hace meses. El comité de salud interno votó unánimemente en contra. Sus preocupaciones eran claras: los usuarios desarrollarían apego emocional poco saludable con la IA, y los menores encontrarían formas de eludir la verificación de edad. Alguien fue más directo: sin mejoras, esto podría convertirse en un "entrenador de suicidio sexy". El sistema de verificación de edad tiene más de 10% de error. Con 800 millones de usuarios activos semanales, eso significa decenas de millones mal clasificados.

No fue solo eso. También retiraron Sora, la herramienta de video con IA, y la función de pago instantáneo de ChatGPT. Altman dijo que se enfocaban en el negocio principal y eliminaban "tareas secundarias". Pero OpenAI se prepara para salir a bolsa. Una empresa que se esfuerza por cotizar en bolsa y elimina intensivamente funciones controvertidas probablemente no está siendo del todo honesta consigo misma.

Mira, cinco meses antes Altman decía que había que tratar a los usuarios como adultos. Cinco meses después descubrió que ni su propia empresa sabía qué podía y qué no podía hacer la IA. Ni los que crean la IA tienen esa respuesta.

Viendo estos tres eventos juntos, el problema se vuelve obvio: la velocidad con la que la IA produce contenido ya no está en la misma escala que la velocidad con la que los humanos pueden revisarlo. Ese director de Manchester no confiaba en la IA; simplemente no quería gastar el tiempo que habría tomado que un bibliotecario leyera 193 libros. Es un problema económico. El costo de generación es casi cero. Todos los costos de revisión los asumen los humanos.

Entonces cada institución reaccionó de la forma más brusca: Wikipedia prohibió directamente, OpenAI eliminó líneas de productos. Ninguna fue una solución reflexionada; fueron medidas de emergencia para tapar agujeros. Y eso se está normalizando.

La IA se actualiza cada pocos meses. No existe un marco internacional coherente sobre qué puede tocar. Cada institución traza sus propias líneas internas, y son contradictorias, sin coordinación. Mientras tanto, la brecha solo crece. La IA sigue acelerando. El personal de revisión no aumenta. En algún momento esto va a explotar en algo mucho más grave que censurar a Orwell. Y cuando pase, probablemente sea demasiado tarde para trazar la línea.