Altman casi admite que ha entrenado modelos con datos puramente de IA, y también dice que matemáticamente ya no se necesitan datos humanos

Según el monitoreo de Beating, Altman habló sobre datos sintéticos en el podcast del CEO Nicholas Thompson de «The Atlantic Monthly». Thompson dijo que ahora en línea hay contenido escrito por IA en todas partes, y que las personas están aprendiendo incluso el estilo de escritura de la IA, y que en el futuro los modelos no podrán evitar consumir datos generados por IA. Él dijo: «GPT-4 es el último modelo que no ha utilizado mucho datos de IA», y Altman asintió con la cabeza.

Thompson preguntó directamente: ¿Alguna vez se ha entrenado un modelo completamente con datos sintéticos (usando la salida de IA para entrenar a la próxima generación de IA)? Altman se detuvo un momento y dijo: «No estoy seguro de si debería decirlo». Esa frase equivalía a una aprobación implícita. Luego dijo que el núcleo del modelo es aprender a razonar, y que esto puede lograrse completamente con datos sintéticos. Puso un ejemplo matemático: ¿Un modelo que nunca ha visto datos humanos puede calcular mejor que los humanos? «Creo que sí». Pero, por otro lado, ¿un modelo que no ha estado en contacto con la cultura humana puede entender los valores humanos? «Eso probablemente no».

Los datos sintéticos siempre han tenido la idea de la «enfermedad de la vaca loca»: ¿si la IA consume repetidamente sus propias salidas, la información se deteriorará y degradará de generación en generación? Según Altman, enseñar a la IA a hacer matemáticas no requiere personas, pero enseñar a la IA a entender a las personas sí requiere humanos.