Quelques centaines de cartes suffisent à supporter le trafic des visiteurs. Si cette technologie d'optimisation était open source, combien d'économies de budget de calcul les PME réaliseraient-elles ?

Selon des informations de Bǐjiè, OpenAI a récemment trouvé une solution d'optimisation capable de réduire de moitié les coûts d'inférence des modèles. D'après une source bien informée, des ingénieurs d'OpenAI ont indiqué à certains collègues plus tôt ce mois-ci qu'en s'appuyant sur plusieurs nouvelles techniques d'optimisation développées, ils ont réussi à réduire le nombre de processeurs graphiques (GPU) Nvidia nécessaires à seulement quelques centaines, notamment en appliquant cette technologie dans les scénarios où les visiteurs sans compte gratuit ou payant utilisent ChatGPT.