Red Hat, menempatkan standar kepercayaan dan penalaran di garis depan dalam konteks penyebaran "AI berbasis agen"... Bertaruh pada vLLM

Seiring perusahaan menginvestasikan “AI agen” ke dalam pekerjaan nyata, fokus perhatian beralih dari kinerja model ke “kepercayaan”. Analisis menunjukkan bahwa karena AI mampu menulis kode, mengakses sistem, bahkan melakukan operasi substantif, bagaimana memastikan keamanan, tata kelola, dan stabilitas telah menjadi topik inti.

Chief Technology Officer (CTO) Red Hat dan Wakil Presiden Senior Teknik Global Chris Wright mengatakan di acara Red Hat Summit 2026: “Ketika kita ingin agen mengambil tindakan dalam bisnis nyata, kepercayaan terhadap AI ini menjadi sangat penting.” Dia menekankan bahwa pemberian hak minimum, lingkungan sandbox, dan sistem manajemen agen skala besar adalah syarat mutlak.

Red Hat mengandalkan pembangunan “lapisan inferensi standar” yang berpusat pada vLLM

Sebagai solusi untuk mengurangi kompleksitas AI perusahaan, Red Hat mengusulkan “lapisan inferensi standar”. Gagasan ini adalah, seperti Linux dan Kubernetes yang menjadi fondasi bersama industri di masa lalu, kini open-source AI inference engine vLLM juga harus memainkan peran ini.

Untuk itu, Red Hat memperoleh kemampuan optimisasi kinerja kuantifikasi dan inferensi melalui akuisisi Neural Magic. Chris Wright menjelaskan: “Vendor model bahkan sebelum model terbuka, sudah memulai pengembangan untuk vLLM. Standarisasi ini meningkatkan efisiensi seluruh ekosistem dan juga menjadi dasar bagi perusahaan untuk meningkatkan efisiensi operasional internal.”

Dari sudut pandang perusahaan, ini sangat penting karena dapat mengurangi ketidakpastian dalam memilih infrastruktur. Hanya dengan menentukan dasar apa model dijalankan, biaya pengembangan, penerapan, dan pemeliharaan dapat dikurangi. Pada akhirnya, kepercayaan terhadap AI open-source tidak hanya berkaitan dengan etika teknologi, tetapi juga terkait dengan “prediktabilitas” dalam lingkungan operasional nyata.

Biaya inferensi, kini menjadi variabel bisnis yang diperhatikan dewan direksi

Seiring dengan penyebaran AI, “biaya inferensi” juga menjadi indikator bisnis penting. Karena biaya listrik dan semikonduktor yang diperlukan untuk menjalankan model bahasa besar secara terus-menerus terus meningkat, perusahaan beralih dari penggunaan model paling kuat secara tunggal ke mencari kombinasi yang paling efisien untuk berbagai bisnis.

Chris Wright menyatakan bahwa pemilihan perangkat keras dan model harus didasarkan pada rasio biaya dan efisiensi energi yang optimal untuk tugas tertentu. Dengan kata lain, menggunakan satu jenis AI untuk semua pekerjaan mungkin tidak efisien. Tugas sederhana mungkin lebih cocok dengan model kecil, sementara penilaian kompleks membutuhkan model besar.

Tren ini memperbesar kemungkinan infrastruktur AI beralih ke “arsitektur heterogen” daripada “arsitektur tunggal”. Karena lingkungan edge seperti cloud, deployment lokal, dan lokasi pabrik akan digunakan secara campuran, perangkat keras juga mungkin berkembang dari GPU tunggal ke berbagai kombinasi. Di titik ini, Red Hat berharap strategi platformnya akan terus memberikan nilai.

Persaingan “AI yang dapat dipercaya” menyebar ke perusahaan platform

Pernyataan ini menunjukkan bahwa kompetisi pasar AI tidak lagi hanya ditentukan oleh kinerja model. Pelanggan perusahaan benar-benar membutuhkan bukan model yang lebih pintar, tetapi lingkungan eksekusi yang dapat dipercaya dan terkendali.

Terutama dalam lingkungan di mana ratusan bahkan ribuan agen AI berjalan bersamaan, faktor seperti kebijakan keamanan, manajemen hak akses, dan auditabilitas menjadi sangat penting. Inilah alasan mengapa industri, seperti era Linux dan Kubernetes, kembali mencari standar bersama.

Akhirnya, kepercayaan terhadap AI open-source kemungkinan besar menjadi syarat kunci dalam menentukan kecepatan adopsi AI perusahaan di masa depan. Dengan penetapan lapisan inferensi standar dan strategi infrastruktur heterogen, perusahaan diharapkan dapat lebih cepat membawa AI dari tahap eksperimen ke lingkungan produksi nyata.

Catatan TP AI Artikel ini dirangkum berdasarkan model bahasa TokenPost.ai. Isi utama mungkin dihilangkan atau tidak sesuai fakta.