Yang mencegah penyebaran AI bukanlah model tetapi infrastruktur... Peran "pengoperasian terpadu" Kubernetes semakin menonjol

Batasan dalam penyebaran AI bukan terletak pada model, melainkan pada “infrastruktur”—diagnosis ini semakin meluas.

Dalam konferensi “KubeCon+CloudNativeCon Eropa” yang baru saja berlangsung, inti kompetisi kecerdasan buatan (AI) menjadi semakin jelas bahwa bukan hanya performa model yang menjadi fokus. Analisis menunjukkan bahwa, dalam proses perusahaan mengimplementasikan AI ke dalam layanan, hambatan terbesar terletak pada batasan struktural yang menghalangi pengoperasian sistem yang tersebar di cloud, edge, dan lokal secara sebagai satu kesatuan.

Penelitian baru menunjukkan bahwa sebagian besar proyek AI gagal mencapai tahap operasional nyata, dan penyebab kegagalannya lebih banyak berkisar pada masalah integrasi dan eksekusi operasional, bukan pada model itu sendiri. Kepala analis dari TheCube Research, Paul Nashaavati, menyatakan, “AI mengungkapkan cacat mendasar pada infrastruktur perusahaan,” dan “fragmentasi penuh dari deployment cloud, edge, dan lokal telah menjadi hambatan terbesar bagi AI operasional.”

Masalah “kedaulatan” membuat infrastruktur AI semakin kompleks

Fragmentasi ini baru-baru ini diberi nama “kedaulatan”. Hal ini disebabkan oleh tumpang tindihnya data kedaulatan, regulasi regional, dan kebijakan internal perusahaan, sehingga data dan beban kerja sulit dikonsolidasikan di satu tempat. Akibatnya, sistem AI dipaksa bertransformasi dari satu tumpukan tunggal menjadi struktur yang didistribusikan di berbagai lingkungan.

Wakil Presiden dan General Manager dari bagian platform hybrid Red Hat, Mike Barrett, mengambil contoh penggunaan model bahasa besar yang berbeda di berbagai departemen bisnis, menjelaskan bahwa pelanggan perusahaan tidak menginginkan alat yang khusus untuk lingkungan tertentu, melainkan “platform horizontal” tingkat perusahaan. Untuk mengatasi hal ini, Red Hat fokus membangun lapisan kontrol berbasis Kubernetes yang mengelola workload AI secara seragam di semua lingkungan, yang disebut “AI control plane.”

Kubernetes melampaui orkestrasi, berkembang menjadi alat “konsistensi operasional”

Awalnya, Kubernetes bukan dirancang untuk inferensi AI. Perannya lebih dekat dengan pengaturan dan pengelolaan container. Namun, seiring AI inference dipindahkan ke lingkungan layanan nyata, masalah seperti ketidakkonsistenan antar wilayah, fluktuasi latensi, kompetisi sumber daya, dan drift kebijakan mulai muncul secara menyeluruh.

Direktur teknik Red Hat, Robert Shoti, menyebutkan tentang kerangka inferensi open-source “llm-d,” dan menjelaskan bahwa pengguna tidak hanya ingin membangun sistem berkinerja tinggi, tetapi juga ingin mengatasi kompleksitas tahap operasional selanjutnya. Ini menunjukkan bahwa ketidakstabilan sistem AI tidak terjadi saat pelatihan, melainkan saat fase operasional layanan nyata.

Dewan Pengurus Komite Pengelola Cloud Native Computing Foundation (CNCF), Jan Meren, juga mengemukakan kekhawatiran serupa. Ia menganalisis bahwa meskipun cloud native telah berkembang menjadi kolaborasi open-source global, AI menyebabkan konflik antara sistem berbasis “konsistensi global” dan realitas regulasi regional serta lingkungan terdistribusi.

Kepala analis dari TheCube Research, Rob Strechaij, menilai, “Inti dari AI proxy bukanlah masalah model, melainkan arsitektur platform,” dan daya saing di masa depan akan lebih bergantung pada pembangunan infrastruktur yang lebih baik daripada memilih model yang lebih baik.

Pengembangan platform sebagai solusi nyata untuk operasi AI

Masalahnya adalah, Kubernetes terlalu kompleks bagi semua tim dan sulit langsung dioperasikan. CTO bagian AI Red Hat, Brian Stevens, menyatakan bahwa saat ini banyak ilmuwan data yang membangun AI harus sekaligus bertanggung jawab atas infrastruktur. Solusi untuk menjembatani kesenjangan ini adalah melalui rekayasa platform.

Strechaij menjelaskan bahwa, seiring alat yang terfragmentasi, kemampuan SDM yang terbatas, dan kompleksitas operasional menjadi hambatan utama, industri beralih ke struktur kontrol terpadu berbasis platform dan Kubernetes. Dalam tren ini, Red Hat OpenShift AI bertanggung jawab untuk mengabstraksi proses belajar, deployment, layanan, dan inferensi secara berulang di berbagai lingkungan hybrid.

Mesin virtual juga mulai masuk ke Kubernetes

Infrastruktur perusahaan tidak akan sepenuhnya dimodernisasi sekaligus. Asset inti seperti sistem penagihan dan basis data sering tetap berada di lingkungan lama karena risiko manajemen. Hal ini menyebabkan mesin virtual (VM) dan container beroperasi secara dualisme dalam waktu yang lama.

Survei menunjukkan bahwa 84% pengambil keputusan TI mengalami kesulitan dalam mengelola VM dan container secara terpisah. Daniel Messel dari Red Hat menyatakan, “Virtualisasi dan container tidak boleh tetap terisolasi, mereka harus berada di platform yang sama.” KubeVirt, proyek ekstensi yang sudah matang di CNCF, memungkinkan VM dan container berjalan bersamaan di dalam Kubernetes.

Ini dipandang sebagai strategi untuk tidak menghapus sistem legacy, tetapi mengintegrasikan sistem yang ada ke dalam satu lapisan kontrol yang sama, menyatukan antarmuka operasional.

Ada juga yang menunjukkan bahwa “kemudahan” tidak sama dengan kontrol

Meskipun kedaulatan AI tampaknya sebagai alternatif, ada pandangan yang menyatakan bahwa hal ini justru membawa lebih banyak batasan. Regulasi di berbagai negara membatasi pergerakan data, dan kebijakan perusahaan menghambat sentralisasi. Akibatnya, tanpa memandang kesiapan, workload harus dialokasikan ke cloud, lokal, dan edge.

Gabriel Bartolini dari EnterpriseDB menegaskan bahwa tanpa portabilitas database, tidak ada kedaulatan sejati. Ia menegaskan bahwa “kemudahan” layanan terkelola tidak berarti kontrol penuh. Jan Meren juga menyatakan bahwa dalam diskusi kedaulatan, perlu dibedakan antara “kedaulatan kode” dan “kedaulatan deployment”; kode bisa menjadi aset open-source global, tetapi deployment langsung dipengaruhi oleh hukum dan kebijakan.

Dalam konteks ini, peran Kubernetes menjadi semakin jelas: menghubungkan kode yang dibagikan secara global menjadi bentuk yang mampu beroperasi di lingkungan dengan berbagai batasan regional.

Keberhasilan atau kegagalan akhirnya bergantung pada ekosistem

Sebuah perusahaan tunggal tidak mampu mengelola infrastruktur AI secara mandiri. Agar AI yang dikendalikan oleh control plane Kubernetes dapat berfungsi, bukan mengganti berbagai sistem, melainkan menghubungkannya. Hal ini dimungkinkan oleh “ekosistem” yang terdiri dari standar, API, dan proyek open-source hulu.

Nashaavati menilai bahwa Red Hat bukan hanya penyedia platform komersial, tetapi juga salah satu perusahaan paling aktif berkontribusi dalam ekosistem CNCF. Upaya hulu ini tidak sekadar pengelolaan citra, melainkan mekanisme utama untuk mencegah perbedaan implementasi Kubernetes dari berbagai vendor dan menjaga konsistensi. Red Hat juga bekerja sama dengan Nvidia dalam mengembangkan “Red Hat AI Factory,” yang mengintegrasikan OpenShift dan akselerator Nvidia untuk membangun infrastruktur AI perusahaan yang skalabel.

Nashaavati menyatakan, “Mengacu pada fakta bahwa hingga 75% perusahaan mengalami kegagalan AI dua digit akibat sistem yang terfragmentasi, bottleneck telah beralih ke infrastruktur.” Ini berarti masalahnya bukan pada fungsi yang kurang, tetapi pada tantangan struktural yang menghambat kolaborasi antar sistem.

Kubernetes sebagai lapisan produksi di era AI

Daripada AI menghancurkan titik tertentu, lebih tepat dikatakan bahwa

TP Catatan AI Menggunakan model bahasa TokenPost.ai untuk merangkum artikel ini. Bagian utama dari konten ini mungkin terlewatkan atau tidak sesuai fakta.