Después de la actualización de ChatGPT, le hablo y casi no hay retraso. El modelo de voz en tiempo real más reciente tiene una latencia de aproximadamente 200-300 ms, y el intervalo de reacción natural de una conversación humana también es de 200-300 ms. Es lo mismo.

Pero el coste del “cero retraso” es el olvido. La ventana de contexto del modelo de voz en tiempo real es solo de 32k tokens, que equivale a 1/300 de un modelo de texto puro. Baja latencia = poca memoria + olvido activo. Si se quiere responder al instante y a la vez recordar cada frase que dijiste, por ahora es un dilema.
El cómputo sigue sin ser suficiente. Una sola imagen SDXL en una 5090 requiere 2 segundos; FLUX tarda 9 segundos; entrenar un LoRA de un personaje necesita 10-30 imágenes; actualmente son de una a dos horas.
La 5090 que alquilo ahora cuesta cerca de 5000 USD, con una carga completa de 575W, sin contar la electricidad. En dos o tres años, la potencia relativa queda obsoleta. De verdad es carísimo.
Hace 15 años nos enviábamos mensajes de texto; luego los MMS permitieron enviar imágenes; después enviar video; hasta ahora, llamadas en tiempo real en alta definición sin ningún retraso. Un mensaje de texto solo tiene 140 bytes. De 9,6 kbps de 2G al pico de 20 Gbps de 5G: la diferencia de ancho de banda es de 2 millones de veces.
Las rutas que usa la IA también son exactamente las mismas. Al principio eran tokens de texto; el año pasado ya pasaba a imágenes; ahora voz; el siguiente paso, sin duda, será comunicación de video sin retraso.
En realidad, el video ya empezó. Gemini Live ya podía hacer conversación en tiempo real con la cámara hace un año, quemando 300 tokens por segundo, con un límite predeterminado de 2 minutos; pero al terminar, se olvida todo, es caro + tiene mal rendimiento + es muy primitivo en varias dimensiones, lo que hace que básicamente no se pueda usar.
Ahora mismo, los Agentes todavía usan texto para planificar; y a través del entendimiento de texto comprenden este mundo: toda la cadena de razonamiento es de tokens. El espacio de razonamiento no textual todavía acaba de empezar a intentarse.
La IA sobre el tiempo también se queda en el texto. Modelos que pueden ganar medallas en olimpiadas de matemáticas, al leer un reloj simulado su precisión es de solo alrededor de 50%. Tacto, emociones, percepción encarnada: falta muchísimo para estar maduro.
Hablemos de almacenamiento. Yo no creo que “siempre falte almacenamiento”; “siempre” es una palabra demasiado exagerada.
El coste por GB de almacenamiento ha caído 99,99% durante 45 años; a largo plazo, desde luego, será cada vez más barato.
Solo que ahora la IA ha drenado la memoria: la DRAM sube 90% por trimestre; hay un tramo de demanda y escasez puntual, pero eso no significa que vaya a faltar para siempre.
Entonces, ¿esto es una demanda ficticia? La demanda ficticia se caracteriza por que este mes se usa y el siguiente mes ya no.
Los tokens que procesa Google al mes han crecido 7 veces en un año, hasta 3200 billones. La actividad semanal de ChatGPT es de 900 millones.
El precio de los tokens baja cada año diez veces, pero todos hablan de cómo usar los tokens de forma más eficiente, en lugar de cómo prescindir de ellos.
Un agente gasta entre 50-200 tokens en una sesión de una sola ronda; si el precio baja, solo lo usaremos más.
La IA generativa logró 53% de penetración global en tres años. Internet tardó 7 años; en PC, 15 años.
Así que, claro, todavía estamos en una etapa temprana de la IA, y la transformación es irreversible. Como nosotros en la era del 2G: las canciones de llamada seguían siendo “浪漫手机” (“Romantic Mobile”), y aunque la bandeja de entrada se llenara, no se borraba ni un par de mensajes.
（图片是我用Fable5做的🎮）