Recientemente vi una entrevista de Hassabis, fundador de DeepMind, en YC, y algunos puntos fueron bastante impactantes. Él dice que si ahora inicias un proyecto de tecnología profunda a diez años, debes planear la aparición de la AGI en medio del camino. No es alarmismo, su línea de tiempo personal es alrededor de 2030.

Al escuchar sus detalles técnicos, uno entiende por qué la AGI todavía falta una o dos piezas del rompecabezas. El preentrenamiento a gran escala, RLHF, cadenas de pensamiento, estas tecnologías ya han sido verificadas, y él está muy seguro de que formarán parte de la arquitectura final de la AGI. Pero el aprendizaje continuo, el razonamiento a largo plazo, y ciertos aspectos de la memoria aún no están realmente resueltos. La práctica actual básicamente consiste en meter todo en la ventana de contexto, lo cual es bastante burdo. Él da el ejemplo de que una ventana de contexto de un millón de tokens parece grande, pero si se trata de procesar streaming de video en tiempo real, en realidad solo alcanza para 20 minutos de datos. Querer que el sistema entienda tu vida de uno o dos meses, está muy lejos.

El problema del razonamiento es aún más interesante. Él suele observar a Gemini jugando ajedrez, y descubre que a veces se da cuenta de que un movimiento no es bueno, pero no encuentra una mejor opción, y termina haciendo ese movimiento pésimo. Un sistema de razonamiento preciso no debería hacer eso. Por eso se habla de la llamada “sabiduría en dientes de sierra” — capaz de resolver problemas de nivel medalla de oro en IMO, pero que puede ser bloqueado por matemáticas de primaria.

En cuanto a los agentes, admite que apenas estamos empezando. Para lograr la AGI, debe existir un sistema que pueda resolver problemas de forma proactiva, ese es el camino del agente. Pero ahora todavía está en fase experimental, en la mayoría de escenarios sigue siendo un complemento. Menciona que aún no han visto a alguien usar herramientas de IA para crear un juego AAA que llegue a la cima de las listas de aplicaciones, según la inversión actual en computación y herramientas, teóricamente sería posible, pero aún no ha ocurrido. Esto indica que todavía hay algo que falta en los procesos o herramientas. Él estima que en los próximos 6 a 12 meses veremos estos resultados.

Lo interesante es que los modelos pequeños están cambiando las reglas del juego. Su modelo Flash puede alcanzar el 95% del rendimiento de los modelos de vanguardia, pero con solo una décima parte del costo. La destilación, que fue inventada por DeepMind, sigue siendo la mejor del mundo. Además, tienen un gran impulso para optimizar — Google está integrando Gemini en cada producto, involucrando a miles de millones de usuarios. Esto significa que deben ser extremadamente rápidos, eficientes y de muy bajo costo. No creen que hayan llegado a los límites de la teoría de la información; después de que un modelo de vanguardia se lance, en medio año a un año, su capacidad puede comprimirse en modelos que funcionen en dispositivos de borde.

En cuanto a aplicaciones científicas, Isomorphic Labs avanza muy bien; AlphaFold es solo una parte del proceso de descubrimiento de fármacos. Su objetivo final es crear una célula virtual completa, un simulador de células funcionales que pueda ser perturbado. Estiman que todavía faltan unos diez años para una célula virtual completa, y ahora están empezando con el núcleo de la célula virtual.

El consejo más práctico para emprendedores es que la dificultad de perseguir problemas difíciles y problemas simples en realidad no difiere mucho, solo en la forma en que son difíciles. La vida es limitada, así que mejor enfocar energía en aquello que, si no lo haces tú, nadie más lo hará. Además, en los próximos años, la combinación interdisciplinaria será más común, y la IA facilitará esa integración. Pero lo más importante es tomarse en serio la hoja de ruta de la AGI, imaginar cómo será ese mundo, y construir algo que siga siendo útil cuando ese mundo llegue.