Percakapan Amazon Web Services Mai-Lan: Medan perang berikutnya dari S3, bagaimana menghadapi gelombang konsumsi data di era Agent

null

Pada awal tahun, ledakan OpenClaw di pasar China menunjukkan kepada semua orang potensi besar dari Agent. Tetapi yang mengikuti adalah sebuah pertanyaan yang harus dijawab oleh semua penyedia cloud: ketika Agent mulai berkembang biak secara gila-gilaan seperti cyber lobster, dan melakukan panggilan data dengan frekuensi tinggi, apakah lapisan infrastruktur cloud AI terutama lapisan data sudah siap?

Misalnya, tim data perusahaan sering menghadapi hambatan di lapisan data saat mengimplementasikan Agent ke lingkungan produksi. Membangun database vektor, database relasional, database graf, dan platform lakehouse lainnya untuk Agent membutuhkan sinkronisasi pipeline data agar menjaga keaktifan informasi konteks. Tetapi dalam lingkungan produksi nyata, informasi konteks ini akan menjadi usang secara bertahap.

Urgensi masalah ini berasal dari pola konsumsi data Agent yang sangat berbeda dari insinyur manusia.

“Agent sedang mengkonsumsi data dengan cara yang sangat aktif dan agresif, frekuensi panggilannya terhadap gudang data atau lake data sangat mencengangkan.”

Wakil Presiden Teknologi Amazon Web Services Mai-Lan Tomsen Bukovec baru-baru ini menyatakan dalam diskusi dengan penulis bahwa Agent adalah mode kerja “paralel dan selektif”, yaitu: bukan satu query satu waktu, melainkan puluhan atau ratusan query paralel secara bersamaan, membandingkan untuk menemukan jalur terbaik. Ini membuat Agent menjadi konsumen data yang jauh lebih agresif daripada manusia—frekuensi panggilan meningkat beberapa kali lipat, throughput data meningkat secara eksponensial.

Mai-Lan lebih lanjut menyatakan, “Sekarang, pelanggan sangat ingin membangun infrastruktur Agent, biaya atau bahkan rasio biaya-manfaat tidak lagi menjadi faktor minor, melainkan faktor penentu. Dalam enam bulan hingga satu tahun ke depan, dengan ledakan Agent, pilihan layanan data dasar akan menjadi sangat penting.”

Saat ini, perayaan OpenClaw mulai mereda, meninggalkan peringatan tentang tekanan pengujian kemampuan penyimpanan dan komputasi cloud di lapisan dasar. Mai-Lan percaya bahwa AWS memiliki keunggulan alami di bidang ini, skala Amazon S3, efisiensi biaya Amazon Redshift dan Amazon Athena di bawah beban tinggi, semuanya disiapkan untuk mendukung interaksi data Agent yang berskala sangat besar dan frekuensi sangat tinggi ini.

Pada hari ulang tahun ke-20 peluncuran Amazon S3, seiring dengan kebutuhan pelanggan di era AI terhadap pengolahan data, Amazon S3 baru-baru ini meluncurkan tiga inovasi besar: S3 Table (format tabel), S3 Files (berkas), dan S3 Vector (vektor).

Contohnya, dukungan asli S3 Table terhadap Apache Iceberg. Mai-Lan menyatakan bahwa saat memproses data, Agent cenderung berinteraksi langsung melalui SQL dengan data berformat Iceberg. Logika dasarnya adalah, Agent dibangun di atas model besar, dan selama pelatihan model besar tersebut sudah memiliki kemampuan pengolahan yang matang terhadap sintaks SQL dan format data Iceberg. Menyimpan semua data tabel dalam format Iceberg di S3 memungkinkan Agent untuk memproses data secara efisien tanpa harus mempelajari berbagai API akses yang kompleks. Saat ini, Agent menunjukkan kecocokan yang tinggi dengan S3 dan Iceberg.

Ketika kemampuan Iceberg diperkenalkan ke S3, memicu gelombang inovasi baru, sumber data seperti Postgres dan Oracle mulai langsung menulis ke Iceberg, dan sistem Agent dapat berinteraksi langsung dengan tabel-tabel ini. Dengan peluncuran S3 Vectors, semakin banyak aplikasi AI mulai menggunakan vektor sebagai media memori bersama, sehingga memberikan “status” pada pengalaman interaksi AI.

Mai-Lan juga menunjukkan bahwa vektor telah diperkenalkan sebagai tipe data asli di S3. Penggunaan vektor terutama berfokus pada dua dimensi: pertama, membangun konteks data yang disimpan di S3 melalui vektor; kedua, menggunakan vektor sebagai memori bersama. Dalam lima bulan setelah peluncuran S3 Vectors, umpan balik pasar sesuai harapan. Banyak pelanggan mulai menggunakan fitur ini, dengan menyematkan model untuk menghasilkan vektor guna memperkaya konteks data. Penggunaan ruang memori sistem Agent dengan S3 Vectors menunjukkan pertumbuhan yang pesat.

Perlu dicatat bahwa S3 Files dirilis beberapa minggu lalu, memungkinkan Agent memproses data di S3 melalui standar POSIX, yaitu melalui sistem berkas. Dalam sistem Agent, model besar sangat memperhatikan “berkas” sebagai bentuk data, baik itu pustaka Python maupun skrip Shell, keduanya adalah hal yang familiar selama pelatihan model besar, sehingga Agent secara alami cenderung menganggap berkas sebagai antarmuka data.

Untuk itu, desain S3 Files adalah dengan memasang sistem berkas EFS di atas bucket S3. Melalui mekanisme ini, pengguna dapat memproses data S3 berdasarkan standar POSIX: berkas kecil dapat dipercepat akses melalui cache EFS, berkas besar langsung ditransfer secara streaming dari S3. Ini memungkinkan Agent berinteraksi secara native dengan data S3 menggunakan bahasa sistem berkas yang familiar, dan menganggap sistem berkas bersama sebagai “ruang memori bersama” dari S3.

Dari perkembangan kemampuan memori model besar, kemajuan ini sangat penting. Pengalaman AI saat ini secara bertahap memperkenalkan konteks percakapan yang lebih dalam dan interaksi yang dipersonalisasi—baik antar Agent, antara manusia dan Agent, maupun antara Agent dan data—dengan performa model yang terus berkembang. Melalui perluasan antarmuka alami berupa sistem berkas ini, kemampuan memori sistem Agent diharapkan dapat meningkat ke tingkat yang lebih dalam.

Penulis memperhatikan bahwa, dari tahun 2006 yang awalnya berfokus pada data semi-terstruktur seperti gambar, hingga data analitik kemudian, dari awal data warehouse hingga munculnya lakehouse, AWS saat ini sedang mendorong Amazon S3 menjadi fondasi utama untuk beban kerja AI, guna memenuhi kebutuhan pelanggan saat ini. Mai-Lan berpendapat bahwa inti desain Amazon S3 adalah mendorong pertumbuhan tipe data utama secara ekonomis, sambil tetap menjaga prinsip ketersediaan, daya tahan, dan ketahanan data. Inilah alasan mengapa pelanggan selama 20 tahun terus mempercayakan bisnis data mereka ke S3, dan ini juga akan menjadi fondasi untuk 20 tahun berikutnya.

（Penulis | Yang Li, Editor | Yang Lin）