Ce ne sont pas les modèles, mais les infrastructures qui empêchent la diffusion de l'IA... Le rôle de « gestion unifiée » de Kubernetes devient de plus en plus évident

Le goulot d’étranglement de la diffusion de l’IA ne réside pas dans le modèle, mais dans « l’infrastructure » — ce diagnostic ne fait que s’amplifier.

Lors du récent congrès « KubeCon+CloudNativeCon Europe », il est devenu clair que le cœur de la compétition en intelligence artificielle (IA) ne se limite plus uniquement à la performance des modèles. Des analyses indiquent que, dans la mise en service réelle de l’IA, le principal obstacle structurel réside dans l’incapacité à faire fonctionner comme un tout cohérent des systèmes dispersés entre le cloud, le edge et les déploiements locaux.

De nouvelles recherches montrent que la majorité des projets IA n’atteignent pas la phase opérationnelle réelle, et que leurs échecs sont davantage liés à des problèmes d’intégration et d’exécution opérationnelle qu’au modèle lui-même. Paul Nashawaty, analyste en chef chez TheCube Research, souligne : « L’IA révèle les défauts fondamentaux de l’infrastructure des entreprises », et « la fragmentation totale des déploiements dans le cloud, au edge et en local est devenue le plus grand obstacle à une IA opérationnelle ».

La question de la « souveraineté » complique encore davantage l’infrastructure IA

Cette fragmentation a récemment été rebaptisée « souveraineté ». En effet, la souveraineté des données, la réglementation régionale et les politiques internes des entreprises s’entrelacent, rendant difficile la centralisation des données et des workloads. En conséquence, les systèmes IA sont contraints de se transformer en structures qui ne constituent pas une seule pile, mais qui opèrent de manière distribuée à travers plusieurs environnements.

Mike Barrett, vice-président et directeur général du département des plateformes hybrides chez Red Hat, illustre cela par l’usage de différents grands modèles de langage par diverses unités commerciales, expliquant que les clients ne veulent pas d’outils spécifiques à un environnement, mais d’une « plateforme horizontale » à l’échelle de l’entreprise. Pour résoudre ce problème, Red Hat se concentre sur la construction d’un niveau de contrôle basé sur Kubernetes, qui gère de manière unifiée les workloads IA à travers tous les environnements, appelé « plan de contrôle IA ».

Kubernetes dépasse la simple orchestration, évoluant vers un outil « d’unicité opérationnelle »

Kubernetes n’a pas été conçu à l’origine pour l’inférence IA. Son rôle initial était davantage la déploiement et la gestion de conteneurs. Mais avec le déplacement de l’inférence IA vers des environnements de service réels, des problèmes quotidiens tels que l’incohérence interrégionale, la fluctuation de la latence, la contention des ressources et la dérive des stratégies commencent à apparaître de manière systématique.

Roberto Shoti, directeur technique chez Red Hat, évoque le cadre d’inférence open source « llm-d » et explique que les utilisateurs ne souhaitent pas seulement construire des systèmes à la pointe de la performance, mais aussi gérer la complexité de la phase opérationnelle ultérieure. Cela signifie que la stabilité des systèmes IA ne se joue pas lors de la phase d’entraînement, mais lors de leur exploitation en service réel.

Le conseil d’administration de la Cloud Native Computing Foundation (CNCF), représenté par Jan Meren, partage une préoccupation similaire. Il analyse que, bien que le cloud native ait évolué en une collaboration open source mondiale, l’IA entre en conflit avec la réalité de la mise en place de systèmes basés sur la « cohérence mondiale » face aux réglementations régionales et aux environnements distribués.

Paul Nashawaty, analyste en chef chez TheCube Research, commente : « La nature de l’IA proxy n’est pas un problème de modèle, mais d’architecture de plateforme », et la compétitivité future dépendra davantage de la construction d’une infrastructure solide que du choix du meilleur modèle.

L’ingénierie de plateforme émerge comme une solution concrète pour l’exploitation de l’IA

Le problème est que Kubernetes est trop complexe pour toutes les équipes, rendant son adoption directe difficile. Brian Stevens, CTO de l’équipe IA chez Red Hat, indique que de nombreux data scientists créant de l’IA doivent également assumer la responsabilité de l’infrastructure. La solution à cette fracture réside dans l’ingénierie de plateforme.

Shoti explique qu’avec la fragmentation des outils, le déficit de compétences et la complexité opérationnelle devenant des goulots d’étranglement, l’industrie se tourne vers une structure de contrôle unifiée centrée sur l’ingénierie de plateforme et Kubernetes. Dans cette optique, Red Hat OpenShift AI joue un rôle en permettant, de manière reproductible, d’abstraire l’apprentissage, le déploiement, le service et l’inférence à travers des environnements hybrides.

Les machines virtuelles entrent aussi dans Kubernetes

L’infrastructure d’entreprise ne sera pas modernisée en une seule fois. Des actifs hérités comme les systèmes de facturation ou les bases de données restent souvent dans leur environnement d’origine pour des raisons de gestion des risques. Cela maintient une coexistence à long terme entre machines virtuelles (VM) et conteneurs.

Les enquêtes montrent que 84 % des décideurs IT rencontrent des difficultés à gérer séparément VM et conteneurs. Daniel Messel, de Red Hat, déclare : « La virtualisation et les conteneurs ne doivent pas rester isolés, ils doivent coexister sur la même plateforme ». Le projet KubeVirt, déjà mature dans la CNCF, permet d’exécuter simultanément des VM et des conteneurs dans Kubernetes.

Cela est interprété comme une stratégie visant non pas à éliminer les systèmes hérités, mais à les intégrer dans un même niveau de contrôle, pour une gestion unifiée.

Certains soulignent aussi que la « commodité » ne doit pas être confondue avec le contrôle

Bien que la souveraineté de l’IA semble une alternative, certains estiment qu’elle s’accompagne en réalité de davantage de restrictions. Les réglementations nationales limitent la mobilité des données, et les politiques d’entreprise entravent la centralisation. En conséquence, que l’entreprise soit prête ou non, elle doit répartir ses workloads entre cloud, local et edge.

Gabriele Bartolini, d’EnterpriseDB, insiste : « Sans portabilité des bases de données, il n’y a pas de véritable souveraineté ». Il précise que la « commodité » des services managés ne signifie pas contrôle. Jan Meren ajoute que, dans la discussion sur la souveraineté, il faut distinguer la « souveraineté du code » de la « souveraineté du déploiement » : le code peut être une ressource open source mondiale, mais le déploiement est directement soumis aux lois et politiques.

Dans ce contexte, le rôle de Kubernetes devient encore plus clair : il relie le code partagé mondialement à une opération adaptée aux environnements soumis à différentes restrictions régionales.

La victoire ou la défaite dépendra finalement de l’écosystème

Une seule entreprise ne peut pas à elle seule supporter toute l’infrastructure IA. Pour que le plan de contrôle Kubernetes pour l’IA fonctionne, il ne s’agit pas de remplacer divers systèmes, mais de les connecter. Cela devient possible grâce à un « écosystème » constitué de standards, d’API et de projets open source en amont.

Nashawaty souligne que Red Hat n’est pas seulement un fournisseur de plateformes commerciales, mais aussi l’une des entreprises les plus actives dans l’écosystème CNCF. Ce travail en amont ne se limite pas à la gestion d’images, mais constitue le mécanisme central pour éviter que les implémentations Kubernetes de différents fournisseurs ne divergent, en maintenant une cohérence. Red Hat collabore également avec NVIDIA pour faire avancer « Red Hat AI Factory », visant à construire une infrastructure IA d’entreprise évolutive combinant OpenShift et l’accélération NVIDIA.

Nashawaty conclut : « En tenant compte du fait que jusqu’à 75 % des entreprises rencontrent des échecs à deux chiffres en IA à cause de la fragmentation, le goulot d’étranglement s’est déplacé vers l’infrastructure. » Cela signifie que le problème ne réside pas dans le manque de fonctionnalités, mais dans la difficulté structurelle à faire coopérer différents systèmes.

Kubernetes, en tant que couche de production à l’ère de l’IA

Plutôt que de dire que l’IA détruit un point précis, il est plus exact de dire que…