Acabo de escuchar el podcast de Y Combinator con Demis Hassabis, y honestamente, algunas de sus ideas sobre la AGI y lo que realmente falta en los modelos actuales me impactaron. El tipo ha estado pensando en esto más tiempo que casi nadie, y lo que es increíble es lo bien fundamentada que está su perspectiva—sin hype, solo una evaluación práctica.

Así que aquí está lo que me quedó grabado: ya tenemos la mayoría de las piezas. Preentrenamiento a gran escala, RLHF, razonamiento en cadena—estas casi con certeza serán parte de la arquitectura final de la AGI. Pero quizás queden una o dos brechas críticas. Aprendizaje continuo, razonamiento a largo plazo, sistemas de memoria que no solo llenen todo en ventanas de contexto como si usáramos cinta adhesiva. ¿Su opinión? Para 2030, la AGI, y honestamente, eso cambia cómo deberías pensar en construir cosas hoy.

Lo que realmente me impactó fue su observación sobre el estado actual del razonamiento. Los modelos pueden resolver problemas que IMO son de medalla de oro, pero fallan en matemáticas elementales dependiendo de cómo se formulen. Existe este problema de inteligencia irregular—el sistema carece de algo en la introspección sobre su propio proceso de pensamiento. Es como ver jugar a Gemini al ajedrez, darse cuenta de que un movimiento es malo, pero hacerlo igual porque no puede razonar para encontrar una mejor opción. Eso no debería pasar en un sistema de razonamiento preciso.

Sobre los agentes, es claro: apenas estamos empezando. Todos hypean a los agentes, pero el trabajo real es hacer que sean realmente útiles, no solo demostraciones. Mencionó algo interesante—nadie ha creado todavía un juego AAA de éxito usando programación con IA. Con las herramientas actuales, teóricamente posible, pero algo todavía falta en el proceso o en las propias herramientas. Espera ver ese cambio en 6-12 meses.

El ángulo de la destilación también es fascinante. Su hipótesis es que en 6-12 meses de lanzar un modelo de vanguardia, pueden comprimir sus capacidades en algo que funcione en dispositivos edge. Modelos rápidos alcanzando el 95% del rendimiento de frontera a una décima parte del costo. Y aquí está lo más sorprendente—aún no han llegado a ningún límite teórico en densidad de información. Eso es enorme para lo que es posible con modelos más pequeños.

En cuanto a avances científicos, habló de lo que llama la "prueba de Einstein". ¿Puedes entrenar un sistema con conocimientos hasta 1901 y que derive independientemente la relatividad especial? Una vez que eso funcione, estos sistemas están cerca de la invención real, no solo de hacer patrones. AlphaFold fue el prototipo—ahora es estándar en descubrimiento de fármacos. Pero todavía estamos en la fase inicial en la mayoría de los campos.

El consejo para fundadores en Y Combinator fue agudo: persigue problemas que solo tú puedas resolver. Si estás empezando un proyecto de tecnología profunda hoy, debes considerar la AGI en tu planificación. Un proyecto de diez años podría llegar a la AGI a mitad de camino. No construyas algo que quede obsoleto; construye algo que siga siendo valioso en un mundo con AGI. Piensa en cómo sistemas especializados como AlphaFold se integrarán con modelos de propósito general como herramientas, no todo en un solo modelo masivo.

Una última cosa que resonó—habló de cómo el trabajo interdisciplinario será más fácil con la IA, y que debemos dejar de pensar en todo como un solo cerebro unificado. Las herramientas especializadas coexistirán con sistemas generales. Esa probablemente sea la estructura en la que vale la pena pensar si estás construyendo algo hoy.