Analyste : Kimi K3 améliore l’efficacité du calcul, mais les besoins élevés en mémoire soutiennent toujours la demande de puces pour l’IA

消息 DeepSea TechFlow du 20 juillet : de l’avis de l’analyste Sunny Bangia, le lancement de Kimi K3 a également suscité des inquiétudes quant au fait que la puissance de calcul de l’IA pourrait être inférieure aux attentes, alors que DeepSeek R1 devrait sortir quelque chose de similaire en 2025. Cependant, cette comparaison pourrait ignorer une différence importante. Même si des modèles comme Kimi K3 visent à exploiter plus efficacement les ressources de calcul, ils nécessitent encore, lors de leur exécution, une grande quantité de mémoire ; cette caractéristique pourrait continuer à soutenir la demande auprès d’entreprises comme SK Hynix, Taiwan Semiconductor Manufacturing Company (TSMC) et Nvidia.

Kimi K3 compte 2,8 billions de paramètres, avec un taux de sparsité atteignant un niveau record. Une sparsité plus élevée signifie qu’au cours de chaque tâche, le nombre de paramètres activés relativement à la taille totale du modèle est moindre, ce qui permet une efficacité de calcul plus élevée par token. Les paramètres ne sont qu’un nombre stocké en mémoire. Même en comprimant le modèle avec des formats de données en faible précision, les paramètres de Kimi K3 occupent encore environ 1,4 téraoctet de mémoire. L’adoption de K3 entraîne à elle seule un besoin de mise à niveau des puces silicium à haute mémoire, par exemple le Blackwell GB300 de Nvidia. (Jin10)