Agen AI Perusahaan Membutuhkan Uji Stres, Bukan Pitch Penjualan

Abhishek Saxena, Kepala Strategi dan Pertumbuhan, Sentient.

FinTech bergerak cepat. Berita ada di mana-mana, kejelasan tidak.

FinTech Weekly menyampaikan cerita dan peristiwa penting dalam satu tempat.

Klik Di Sini untuk Berlangganan Buletin FinTech Weekly

Dibaca oleh eksekutif di JP Morgan, Coinbase, BlackRock, Klarna, dan lainnya.

AI perusahaan memiliki masalah kepercayaan yang tidak bisa diselesaikan oleh pemasaran sebanyak apa pun. Perusahaan mulai menerapkan agen otonom ke lingkungan produksi di mana satu keputusan buruk dapat memicu pelanggaran kepatuhan, pembayaran gagal, kesalahan perdagangan, kerugian finansial, atau krisis reputasi. Namun, standar industri untuk mengevaluasi apakah sebuah agen siap produksi masih, secara efektif, sebuah demo yang tampak mengesankan di atas panggung.

Peluncuran NemoClaw Nvidia minggu ini menandai seberapa cepat agen otonom bergerak dari eksperimen ke alur kerja perusahaan. Platform ini menambahkan kontrol keamanan dan privasi yang penting, termasuk sandboxing dan pagar pembatas kebijakan. Namun, penerapan yang aman tidak sama dengan kesiapan produksi. Pertanyaan yang lebih sulit adalah apakah sistem ini telah diuji untuk beroperasi secara andal dalam ambiguitas, kasus tepi, dan tekanan regulasi.

Membangun agen yang dapat menyelesaikan tugas di lingkungan terkendali relatif mudah. Membangun agen yang dapat menangani ambiguitas, pulih dari input tak terduga, menjaga konsistensi di ribuan interaksi konkuren, dan melakukan semua ini tanpa melanggar batasan regulasi adalah masalah rekayasa yang sangat berbeda.

Perbedaan itulah yang membuat banyak penerapan perusahaan mengalami masalah. Kesenjangan antara performa demo dan keandalan produksi lebih lebar dari yang diperkirakan sebagian besar tim.

Agen yang menangani pertanyaan dukungan pelanggan dengan sempurna dalam pengujian mungkin berhalusinasi tentang kebijakan pengembalian dana yang tidak ada saat berhadapan dengan kasus tepi yang belum pernah dilihat. Agen yang mengelola alur kerja keuangan mungkin berperforma sempurna pada data historis tetapi membuat keputusan bencana saat kondisi pasar bergeser di luar distribusi pelatihannya. Agen logistik yang mengoordinasikan rantai pasokan mungkin berhasil dalam simulasi tetapi kesulitan saat penundaan dunia nyata dan sinyal yang saling bertentangan mulai bertumpuk.

Siapa pun yang pernah menjalankan agen melalui lingkungan pengujian adversarial akan dengan cepat mengenali pola-pola ini. Sistem bekerja—sampai mereka menghadapi jenis ambiguitas dan tekanan yang mendefinisikan operasi nyata.

Inilah mengapa fokus industri saat ini pada pembuatan lebih banyak kerangka kerja agen melewatkan bagian penting dari teka-teki. Hambatan sebenarnya bukanlah seberapa cepat perusahaan dapat membuat agen. Melainkan seberapa percaya diri mereka dapat mengevaluasi agen tersebut sebelum agen tersebut diberi tanggung jawab nyata.

Yang dibutuhkan AI perusahaan adalah infrastruktur pengujian tekanan yang ketat dan sistematis yang dirancang khusus untuk sistem otonom. Itu berarti dengan sengaja memperkenalkan jenis input yang merusak agen dalam produksi. Itu berarti mengevaluasi bagaimana agen berperilaku dalam ketidakpastian, informasi yang saling bertentangan, dan kasus tepi yang tidak muncul dalam kumpulan data tolok ukur yang bersih. Dan itu berarti evaluasi berkelanjutan, bukan pengujian satu kali sebelum peluncuran.

Pendekatan sumber terbuka NemoClaw adalah langkah ke arah yang benar karena memberi pengembang visibilitas tentang bagaimana agen beroperasi. Anda tidak dapat menguji kotak hitam dengan benar. Namun visibilitas saja tidak cukup. Infrastruktur pengujian itu sendiri perlu berevolusi seiring dengan sistem yang dievaluasinya.

Pengembangan agen harus berasumsi bahwa mode kegagalan tidak dapat dihindari dan harus diungkapkan sejak awal. Tujuannya bukan untuk membuktikan bahwa sebuah agen berfungsi sekali, tetapi untuk memahami bagaimana ia berperilaku saat kondisi menjadi tidak terduga. Pola pikir itu mengubah cara agen dievaluasi, bagaimana pagar pembatas dirancang, dan bagaimana sistem disiapkan untuk penerapan di lingkungan berisiko tinggi.

Taruhannya hanya akan meningkat saat agen beralih dari tugas terisolasi ke alur kerja ujung-ke-ujung. Perusahaan sudah mulai menjajaki agen yang menegosiasikan kontrak, mengeksekusi transaksi keuangan, mengoordinasikan rantai pasokan, dan mengelola proses operasional yang kompleks. Ketika sistem ini beroperasi di berbagai titik keputusan, dampak dari satu kesalahan dapat dengan cepat menjalar.

Agen dukungan pelanggan yang gagal kehilangan satu tiket. Agen keuangan yang gagal bisa kehilangan modal. Agen operasional yang gagal bisa menunda seluruh lini produksi.
Perusahaan yang pada akhirnya sukses dengan AI perusahaan bukanlah yang pertama menerapkan agen. Mereka adalah yang menerapkan agen yang benar-benar dapat mereka percaya.

Kepercayaan bukanlah fitur yang Anda tambahkan di akhir pengembangan. Itu adalah disiplin rekayasa—yang dimulai dengan bagaimana sistem diuji, bagaimana perilakunya dievaluasi di bawah tekanan, dan bagaimana mode kegagalannya dipahami jauh sebelum mereka menyentuh beban kerja produksi.

Nvidia memberikan perusahaan alat yang kuat untuk membangun agen otonom. Pertanyaan yang lebih sulit—dan yang akan menentukan apakah sistem ini berhasil di dunia nyata—adalah apakah organisasi berinvestasi secara setara dalam infrastruktur yang diperlukan untuk membuktikan bahwa agen tersebut siap.

Tentang penulis

Abhishek Saxena adalah Kepala Strategi dan Pertumbuhan di Sentient, platform AI sumber terbuka yang membangun infrastruktur untuk agen otonom yang tepercaya. Sebelumnya, Abhishek menjabat di Polygon Technology, Apple, dan InMobi, dan meraih gelar MBA dari Harvard Business School.