ARC-AGI-3: La nueva referencia de Chollet revela que la IA contemporánea simplemente no puede adaptarse en tiempo real

Qué ha sucedido

François Chollet ha publicado ARC-AGI-3, un nuevo estándar para medir el progreso de la AGI.

Contenido específico

• Chollet es el autor de Keras y ha estado investigando desde 2019 cómo medir la inteligencia en su artículo “On the Measure of Intelligence”. Su punto central: un buen estándar debería exponer las debilidades del sistema, en lugar de respaldar afirmaciones existentes.
• ARC-AGI-3 incluye pruebas de “razonamiento interactivo”, para ver si el sistema puede, basado en el sentido común, ajustarse y probar en nuevas situaciones.
• Los resultados son claros: los evaluadores humanos resolvieron todo a la primera; la eficiencia de acción de los mejores modelos de IA es inferior al 1%.
• Este estándar se actualizará continuamente: los puntajes de versiones anteriores saltaron después de mejorar las capacidades de inferencia y codificación del modelo, por lo que el estándar debe aumentar constantemente para revelar qué más falta.

Humanos vs. Modelos actuales

Información clave: este no es un problema de cambio cuantitativo que se pueda resolver con ajustes finos, sino una falta fundamental de “capacidad de adaptación en el momento”.

Por qué es importante

• Si un sistema necesita mucha preparación para realizar tareas que los humanos pueden “ver a simple vista”, esto es un problema fundamental para la ruta de la AGI: ¿estamos midiendo la inteligencia con los indicadores incorrectos?
• Chollet no dice que la IA actual sea mala, sino que: la información medida a través de memoria y coincidencia de patrones acumulados es limitada; un estándar que pueda medir “la verdadera capacidad de adaptación ante nuevas situaciones” es lo que realmente nos importa.
• Para investigadores y desarrolladores, la señal de ARC-AGI-3 es clara: solo acumular tamaño no cerrará esta brecha; los mecanismos de aprendizaje y adaptación necesitan un cambio estructural.

Evaluación de impacto

• Importancia: Alta
• Categoría: Investigación en IA, Perspectivas tecnológicas, Tendencias de la industria

Conclusión: esta es una señal temprana pero clave, más valiosa para investigadores y creadores: quienes puedan innovar en la estructura de los mecanismos de aprendizaje y adaptación tendrán ventaja; quienes solo se dediquen al trading están menos relacionados en esta dirección.