Запобігання поширенню ШІ — це не модель, а інфраструктура... Роль "єдиної операційної системи" Kubernetes стає все більш очевидною

Проблеми поширення штучного інтелекту не у моделях, а у «інфраструктурі» — ця діагностика все більше підтверджується.

На нещодавній конференції «KubeCon+CloudNativeCon Європа» стало ясно, що ядром конкуренції у сфері штучного інтелекту (ШІ) вже не є лише продуктивність моделей. Аналіз показує, що найбільші перешкоди для реального впровадження ШІ у послуги пов’язані з структурними обмеженнями, які ускладнюють управління системами, розподіленими між хмарами, краями та локальними середовищами, як єдиним цілісним комплексом.

Нові дослідження свідчать, що більшість проектів ШІ не доходять до стадії операційної експлуатації, і причини цього здебільшого зосереджені не у моделях, а у питаннях інтеграції та управління. Головний аналітик TheCube Research Пол Нашаваті зазначає: «ШІ розкриває фундаментальні недоліки інфраструктури підприємств», — «повна фрагментація хмарних, краєвих та локальних систем стала найбільшою перешкодою для операційного ШІ».

Проблема «суверенітету» ускладнює інфраструктуру ШІ

Ця фрагментація останнім часом отримала назву «суверенітет». Це пов’язано з тим, що дані, регуляторні вимоги регіонів і внутрішні політики компаній переплітаються, ускладнюючи централізацію даних і робочих навантажень. В результаті системи ШІ змушені перетворюватися не у єдину стекову платформу, а у розподілену архітектуру, що працює у кількох середовищах.

Заступник директора відділу гібридних платформ Red Hat Майк Барретт на прикладі використання різних великих мовних моделей різними підрозділами пояснює, що клієнти прагнуть не інструментів для конкретних середовищ, а «горизонтальної платформи» для підприємства. Щоб вирішити цю проблему, Red Hat зосереджена на створенні керуючого рівня на базі Kubernetes, який об’єднує управління ШІ-робочими навантаженнями у всіх середовищах — так званого «контрольного плану ШІ».

Kubernetes виходить за межі оркестрації, стає інструментом «операційної узгодженості»

Спочатку Kubernetes не був створений для обробки ШІ-виведення. Його первісна роль — розгортання та управління контейнерами. Але з переходом ШІ-виведення у реальні сервіси почали проявлятися проблеми — недостатня узгодженість між регіонами, коливання затримок, конкуренція ресурсів і зміщення стратегій.

Руководитель інженерного напрямку Red Hat Роберт Шоуті згадує відкритий фреймворк для великих мовних моделей «llm-d» і пояснює, що користувачі прагнуть не лише створювати високопродуктивні системи, а й вирішувати проблеми їхньої подальшої експлуатації. Це означає, що нестабільність систем ШІ найчастіше проявляється не під час тренування, а під час реальної роботи у сервісах.

Заступник голови управління Cloud Native Computing Foundation (CNCF) Ян Мелен також підкреслює цю проблему. Він аналізує, що хоча хмарна нативність вже стала глобальним відкритим співтовариством, ШІ створює конфлікт між системами, побудованими на «глобальній узгодженості», і регіональними нормативами та розподіленими середовищами.

Головний аналітик TheCube Research Роб Стрейчай оцінює: «Суть агентського ШІ — не у моделях, а у платформній архітектурі», і у майбутньому конкурентоспроможність більше залежатиме від побудови кращої інфраструктури, ніж від вибору моделей.

Платформне інжиніринг стає реальним рішенням для управління ШІ

Проблема у тому, що Kubernetes для багатьох команд надто складний і важкий у використанні безпосередньо. Технічний директор відділу ШІ Red Hat Браян Стівенс зазначає, що багато дата-сайентістів, які створюють системи ШІ, одночасно відповідають за інфраструктуру. Вирішення цієї проблеми — саме платформний інжиніринг.

Стрейчай пояснює, що через фрагментацію інструментів, розрив у навичках і ускладнення операційних процесів галузь рухається у напрямку створення єдиної керуючої структури на базі платформного інжинірингу і Kubernetes. У цьому контексті Red Hat OpenShift AI виконує роль платформи, яка дозволяє повторювано абстрагувати процеси навчання, розгортання, обслуговування і виведення ШІ у гібридних середовищах.

Віртуальні машини також входять у Kubernetes

Інфраструктура підприємств не може бути оновлена одразу повністю. Такі ключові системи, як облікові системи або бази даних, залишаються у старих середовищах через ризики. Це сприяє тривалій роботі віртуальних машин (ВМ) і контейнерів у двох окремих режимах.

Дослідження показують, що 84% ІТ-менеджерів мають труднощі з управлінням ВМ і контейнерами окремо. Представник Red Hat Даніель Мессель зазначає: «Віртуалізація і контейнери не повинні існувати ізольовано, вони мають працювати на одній платформі». Проєкт KubeVirt, який вже досяг зрілості у рамках CNCF, дозволяє одночасно запускати ВМ і контейнери у Kubernetes.

Це розглядається як стратегія не знищення застарілих систем, а їхньої інтеграції у єдину керуючу платформу для узгодженої роботи.

Деякі вважають, що «зручність» не дорівнює контролю

Хоча концепція «суверенного» ШІ здається альтернативою, існує думка, що вона фактично супроводжується додатковими обмеженнями. Регуляторні вимоги обмежують переміщення даних, внутрішні політики заважають централізації. В результаті, незалежно від готовності компаній, робочі навантаження доводиться розподіляти між хмарами, локальними системами і краєм.

Габріель Бартоліні з EnterpriseDB підкреслює, що без забезпечення портативності баз даних справжній суверенітет неможливий. Він чітко розмежовує «зручність» управлінських сервісів і контроль. Ян Мелен також наголошує, що у дискусії про суверенітет потрібно розрізняти «кодове» і «розгортальне» суверенітет: код може бути відкритим і глобальним активом, а реальне розгортання — під впливом законів і політик.

У цьому контексті роль Kubernetes стає ще більш визначеною: він з’єднує глобально поширений код у єдину систему, здатну працювати у середовищах з різними регіональними обмеженнями.

Перемога або поразка залежить від екосистеми

Один окремий бізнес не може самостійно забезпечити інфраструктуру для ШІ. Щоб контрольна площина Kubernetes ефективно працювала, потрібно не замінювати системи, а з’єднувати їх. Це можливо завдяки «екосистемі» — стандартам, API і відкритим проектам, що формують основу.

Нашаваті оцінює, що Red Hat є не лише комерційним постачальником платформ, а й одним із найактивніших учасників екосистеми CNCF. Це не просто управління образами, а ключовий механізм запобігання відмінностям у реалізаціях Kubernetes від різних виробників і підтримання їхньої сумісності. Red Hat співпрацює з NVIDIA у рамках проекту «Red Hat AI Factory», що спрямований на створення масштабованої корпоративної інфраструктури ШІ, об’єднаної з OpenShift і прискорювачами NVIDIA.

Нашаваті зазначає: «З урахуванням того, що до 75% компаній стикаються з двозначними показниками невдач у ШІ через фрагментацію систем, проблема вже зосереджена у інфраструктурі». Це означає, що причина не у функціональності, а у структурних труднощах взаємодії систем.

Kubernetes як виробнича платформа для епохи ШІ

Замість того, щоб вважати ШІ руйнівною силою для окремих точок, слід розглядати його як рушійну силу для створення виробничого рівня.