La difusión de datos envenenados se está extendiendo» La firma de auditoría Ernst & Young revela en su informe de seguridad de 44 páginas: de 27 citas, 16 fueron inventadas por IA.

La compañía de monitoreo de IA GPTZero revela que una importante auditoría de la firma Ernst & Young (EY) en Canadá contiene graves errores, con más del 70% de su contenido generado por IA.
(Resumen previo: Missouri acusa formalmente a CoinFlip: cajeros automáticos de criptomonedas como herramientas de fraude y lavado de dinero, con una demanda máxima de 1.826 millones de dólares)
(Información adicional: Canadá propone legislación para prohibir los cajeros automáticos de criptomonedas: 4,000 máquinas, primer caso en el G7, con datos de FINTRAC que definen la política lógica)

Índice de este artículo

Alternar

• Dos autoinmolaciones de 200 mil millones
• Cuando los grandes modelos de lenguaje reemplazan a Google Scholar
• Envenenamiento de datos: un nuevo riesgo sistémico en herramientas de búsqueda con IA

La compañía de monitoreo de IA GPTZero publicó a mediados de mayo una investigación que revela graves fallos en un informe de EY Canadá titulado "Puntos de Ataque: Descubriendo Amenazas Cibernéticas y Fraudes en Sistemas de Lealtad", un documento de 44 páginas centrado en la seguridad de los sistemas de puntos de fidelidad.

GPTZero verificó línea por línea las 27 citas del informe y encontró que 16 de ellas eran ilusorias, más del 70%. El informe no tiene notas académicas, sino que usa referencias en el texto, y en las páginas 41 a 43 incluye una "tabla de recursos" con títulos, descripciones, URLs, y en algunos casos, editor y fecha.

El problema radica en esa tabla: casi todos los URLs no funcionan o no existen, y más de la mitad de los títulos no corresponden a ninguna fuente real. En total, aproximadamente el 72% del texto del informe fue considerado generado por IA.

Dos autoinmolaciones de 200 mil millones

El problema más directo del informe es que una serie de cifras son contradictorias, casi como si las hubiera escrito diferentes personas.

El resumen ejecutivo afirma que "el mercado global de puntos de fidelidad alcanza los 200 mil millones de dólares", y señala que entre el 30 y 50% de los puntos nunca se usan. Sin embargo, en la página 10 del informe se dice que esos 200 mil millones representan el "valor total de puntos no canjeados". Si el 50% de los puntos no se canjean y su valor ya equivale a 200 mil millones, entonces el mercado global debería ser al menos 400 mil millones, lo que contradice las cifras de ambas páginas.

Lo más importante es que ambas cifras tienen una cita: una de Forbes falsa y otra de McKinsey falsa.

GPTZero rastreó la referencia a "McKinsey & Company: Loyalty Economics Report (2022)", que en realidad no existe. Revisando seis meses atrás, encontraron en un blog de Financial IT frases casi idénticas, que también citaban esa supuesta publicación de McKinsey como fuente.

Es decir, alguien inventó una cita académica en un blog de bajo tráfico, y luego EY la "limpió" para hacerla parecer una publicación de las cuatro grandes firmas. Esto se llama contaminación de la cadena de citas.

Cuando los grandes modelos de lenguaje reemplazan a Google Scholar

GPTZero acuñó un término para este fenómeno: vibe citing. En resumen, investigadores o consultores que no quieren verificar las fuentes reales, dejan que la IA genere referencias, resultando en una lista de citas que parecen reales pero en realidad son inventadas.

Este es el primer hallazgo de la serie GPTZero. En los últimos meses, han desarrollado un pipeline automatizado que escanea informes públicos de grandes consultoras, y los resultados preliminares muestran que el vibe citing ya es una epidemia, afectando incluso a líderes del sector.

Envenenamiento de datos: un nuevo riesgo sistémico en herramientas de búsqueda con IA

GPTZero define el mayor peligro de este informe como "envenenamiento de datos".

En pocas palabras, subir archivos con información falsa a internet equivale a inyectar toxinas en la base de conocimiento compartida, engañando a futuros investigadores y tomadores de decisiones. EY Canadá proporciona millones de dólares anualmente en auditorías y consultoría al gobierno canadiense; si el informe proviene de una institución de ese nivel y se publica en un sitio web de alto tráfico, la difusión de esas toxinas será rápida y la pérdida de confianza difícil de reparar.

Este informe ya generó eco en medios australianos: una noticia que cita el informe en "The Canberra Times" fue replicada en más de 60 periódicos en Australia.

GPTZero demostró que Claude, ChatGPT y Perplexity, al ser consultados sobre "el tiempo promedio para detectar fraudes en programas de lealtad", citaron ese informe lleno de ilusiones. Las señales que usan estas herramientas de "investigación profunda" para seleccionar fuentes difieren de las humanas, confiando más en la reputación de la marca, lo que las hace más vulnerables al envenenamiento de datos.

Las herramientas de detección de ilusiones de GPTZero ya son usadas en la revisión de artículos en conferencias top como IJCAI, ICLR, ICSE. Anteriormente, también verificaron archivos gubernamentales, dos informes de Deloitte, y artículos en NeurIPS y ICLR.

Tras la investigación, EY Canadá eliminó el whitepaper de su sitio web y emitió un comunicado: "EY Canadá toma muy en serio la precisión de todo lo que publicamos y tiene un compromiso organizacional con el uso responsable de IA. Actualmente, estamos revisando por qué se publicó este informe."

Una firma global de auditoría, conocida por su rigor, entregó su credibilidad a un whitepaper generado por IA, sin verificar siquiera las citas. Solo cuando un pequeño equipo de tres personas lo desmanteló públicamente, se dieron cuenta de la gravedad del problema.

Esto no es solo un caso aislado, sino un fenómeno que afecta a toda la industria: cuando la "IA generada" reemplaza el juicio profesional, la validación de marca se vuelve la cita más riesgosa.