Après la mise à niveau de ChatGPT, quand je lui parle, il n’y a pratiquement plus de latence. Le dernier modèle de voix temps réel a une latence d’environ 200-300 ms, et l’intervalle de réaction naturelle des conversations humaines est aussi de 200-300 ms. C’est pareil.

Mais le coût d’une latence à 0, c’est l’oubli. La fenêtre de contexte du modèle de voix temps réel ne fait que 32k tokens, soit seulement 1/300 de celle d’un modèle en texte pur. Faible latence = petite mémoire + oubli actif. Il faut répondre en une seconde et mémoriser chaque phrase que tu as dite : pour l’instant, c’est un dilemme.

La puissance de calcul n’est pas assez. Une carte 5090 pour générer une image SDXL prend 2 secondes, FLUX en prend 9, et entraîner un LoRA de personnage nécessite 10 à 30 images : pour l’instant, il faut encore une à deux heures.

Le prix de la 5090 que je loue est actuellement près de 5 000 dollars, avec une charge à 575W, sans même compter l’électricité. Au bout de deux à trois ans, la puissance de calcul relative devient obsolète. C’est vraiment très cher.

Il y a 15 ans, on s’envoyait des SMS. Ensuite, les MMS permettaient de transmettre des images, puis l’envoi de vidéos, jusqu’à aujourd’hui avec ces appels vidéo haute définition en temps réel, totalement sans latence. Un SMS ne fait que 140 octets. De 9,6kbps en 2G jusqu’au pic de 20Gbps en 5G : l’écart de bande passante est de 2 millions de fois.

Les parcours utilisés par l’IA sont exactement les mêmes. Au début, ce sont des tokens de texte ; l’an dernier, on a ajouté des images ; maintenant, la voix ; et la prochaine étape, c’est forcément la communication vidéo sans latence.

En fait, la vidéo a déjà commencé. Gemini Live, l’an dernier, savait ouvrir la caméra pour dialoguer en temps réel : il consomme 300 tokens par seconde, avec une limite par défaut de 2 minutes, mais une fois la discussion finie, ça oublie tout. C’est cher + l’effet est médiocre + et dans toutes les dimensions, c’est encore très brut, ce qui fait qu’on ne peut quasiment pas l’utiliser.

Aujourd’hui, les agents utilisent encore le texte pour faire des plans, et en passant par la compréhension du monde via le texte, toute la chaîne de raisonnement se fait en tokens. Le raisonnement en espace latent non-texte ne fait que commencer à être tenté.

La compréhension du temps par l’IA s’arrête aussi au texte. Même un modèle capable de gagner une médaille aux olympiades de maths, avec un score d’environ 50% de précision en lisant un horloge simulée. La perception du toucher, des émotions, de l’incarnation : on est encore très, très loin d’un stade mature.

Parlons aussi du stockage. Je ne pense pas vraiment à l’idée de « manquer de stockage pour toujours », et le mot « toujours » est trop exagéré.

Le coût du stockage par GB a chuté de 99,99% sur 45 ans. À long terme, il ne peut que devenir moins cher.

Simplement, pour le moment, l’IA a aspiré toute la mémoire. La DRAM augmente de 90% en un trimestre : c’est une pénurie temporaire et un moment de forte tension, ce n’est pas équivalent à une pénurie permanente.

Alors est-ce une demande fictive ? Une demande fictive, c’est quand on l’utilise ce mois-ci, puis que le mois suivant on n’en a plus besoin.

Les tokens traités chaque mois par Google ont augmenté de 7 fois en un an, jusqu’à atteindre 32 millions de milliards. L’usage hebdomadaire de ChatGPT est de 900 millions.

Le prix des tokens baisse d’un facteur 10 chaque année, mais tout le monde discute de comment utiliser les tokens de façon plus efficace, au lieu de se demander comment ne pas les utiliser.

Un agent consomme 50 à 200 tokens par session, et si le prix baisse, on n’en utilisera que davantage.

L’IA générative a atteint 53% de pénétration mondiale en trois ans. Internet a mis 7 ans, et les PC 15 ans.

Donc oui, nous sommes encore au tout début de l’IA, et la transformation est irréversible. Comme nous à l’époque du 2G : les sonneries étaient encore «浪漫手机», même si la boîte de réception était pleine, on n’osait pas supprimer quelques SMS.

（图片是我用Fable5做的🎮）