IOSG: Mengapa para pelaku Wall Street sedang berkata “tidak” kepada ChatGPT dan Claude?

Judul artikel: 《IOSG Weekly Brief｜AI di Persimpangan: Mengapa Wall Street berkata “tidak” pada ChatGPT dan Claude? #336》
Sumber: IOSG Ventures

Mengapa AI privat dibutuhkan

Pada 1 Juli, CEO Palantir Alex Karp tampil di CNBC dan memberikan wawancara berdurasi 20 menit yang oleh beberapa media disebut “mengalami kehancuran mental”. Menurut Karp, perusahaan membayar premi token untuk laboratorium-laboratorium mutakhir, sekaligus menyaksikan IP mereka mengalir ke para pembuat model. Ia menyebut kebocoran itu sebagai perpindahan alpha, dan perpindahan ini sedang terjadi di tingkat arsitektur: setiap permintaan yang dikirim ke model yang tertutup (closed-source) tiba di server penyedia dalam bentuk teks biasa (plaintext). Beberapa hari sebelum segmen program itu ditayangkan, Palantir baru mengumumkan kerja sama dengan NVIDIA untuk menjalankan model Nemotron yang terbuka di lingkungan yang dikendalikan pelanggan, lengkap dengan pernyataan kedaulatan AI sembilan butir. Setelah program CNBC tayang, PLTR melonjak 8%.

Dalam dua puluh tahun terakhir, adopsi perangkat lunak cloud dengan kepercayaan pada lapisan protokol berjalan dengan baik. Setiap vendor SaaS hanya melihat potongan data perusahaan, dan sebagian besar juga tidak punya insentif untuk mengembalikan data pelanggan ke produk inti. Salesforce melihat saluran penjualan, Workday melihat urusan SDM, Jira melihat iterasi pengembangan, sementara AWS menyediakan fondasi penyimpanan dan komputasi. Namun hari ini, alur kerja AI mendorong pengunggahan sekali jalan terhadap seluruh “perangkat”, termasuk konteks terstruktur yang menjalin berbagai departemen, demi memaksimalkan produktivitas. Terlepas dari niat baik, penyedia layanan hulu kini bisa memakai data tersebut untuk fitur baru—bukan membiarkannya mengendap di server.

Tidak ada yang melambat. Pendapatan tahunan Anthropic pada bulan Mei mencapai 47 miliar dolar AS, naik tajam dari 9 miliar dolar AS pada akhir 2025; OpenAI pada bulan Februari menembus 900 juta pengguna aktif mingguan. Kedua perusahaan menyelesaikan putaran pendanaan baru musim semi ini, valuasinya mendekati 1 triliun dolar AS, dan diperkirakan akan melakukan IPO dengan valuasi pasar yang lebih tinggi. Tuduhan privasi dan IP bertahun-tahun pun tidak membuat kedua perusahaan kehilangan momentum sedikit pun.

Sebagian perusahaan sudah mengambil langkah. Pada Februari 2023, kurang dari tiga bulan setelah ChatGPT dirilis, bank-bank besar Wall Street mulai membatasi penggunaannya. Pada Mei 2023, setelah insinyur Samsung memasukkan kode sumber chip ke ChatGPT, perusahaan itu memblokir AI generatif di seluruh jaringan. Sebagai respons, pada Agustus tahun itu, OpenAI meluncurkan ChatGPT Enterprise, berjanji tidak memakai data bisnis untuk pelatihan, disertai protokol zero-data-retention (ZDR), yakni tidak menyimpan data sama sekali; kemudian ketentuan ZDR menjadi standar wajib dalam pengadaan perusahaan.

Namun kontrak hanya mengunci akun perusahaan. IBM menemukan bahwa pada 2025, shadow AI (karyawan memberi makan data perusahaan ke alat AI yang tidak disetujui lewat akun pribadi) telah terlibat dalam seperlima dari seluruh insiden kebocoran data, dan penggunaan shadow AI yang intensif menambah rata-rata 6,7 juta dolar AS biaya kebocoran. Dalam survei 2025 dari perusahaan pelatihan keamanan Anagram, empat dari anggota staf menyatakan mereka bersedia melanggar kebijakan penggunaan AI demi menyelesaikan tugas lebih cepat.

Perusahaan setidaknya bisa membeli jalan keluar: kontrak ZDR, layanan yang tidak melatih model, dan jika Anda adalah pemerintah atau klien Palantir, ada opsi penempatan dengan kedaulatan. Namun bagi Anda dan saya sebagai pengguna biasa, apakah privasi AI penting atau tidak masih diperdebatkan—sampai surat panggilan pengadilan (subpoena) datang.

Perintah pengadilan pada Mei 2025 memaksa OpenAI menyimpan bahkan percakapan tingkat konsumsi yang sudah dihapus pengguna; pada November, hakim memerintahkan agar 20 juta arsip tersebut diserahkan kepada pengacara dari The New York Times sebagai materi “discovery” untuk bukti. Setelah itu masuk ranah pidana: catatan ChatGPT pada kasus penuduhan pembakaran besar Palisades menjadi barang bukti, dan dalam pernyataan sumpah pada kasus pembunuhan ganda di Florida, kutipan memakai pertanyaan tersangka tentang cara menangani jenazah. Sam Altman juga mengakui pada wawancara Juli 2025 bahwa percakapan ChatGPT tidak dilindungi hak istimewa hukum, dan dalam proses hukum OpenAI “mungkin diminta menyerahkan” catatan percakapan pengguna.

Intinya bukan hanya penjahat yang butuh obrolan rahasia. Percakapan orang-orang dengan AI diarsipkan, bisa dipanggil, dan menjadi permukaan pengawasan yang tidak disadari sebagian besar pengguna. Survei Kolmogorov Law pada Oktober 2025 terhadap 1000 pengguna AI di AS menemukan 50% orang tidak tahu bahwa percakapan ini bisa dipanggil, sementara dua pertiga orang berpendapat percakapan ini harus mendapat perlindungan setara seperti konsultasi dengan pengacara atau dokter.

Model open-source yang di-host sendiri atau dijalankan di lingkungan yang bisa diverifikasi sedang mengejar cepat, tetapi kelompok paling kuat masih tertinggal sekitar 4 bulan dari model closed-source terdepan dalam kemampuan umum. Ini menempatkan perusahaan dan individu yang bertumpu pada tokenmaxxing di persimpangan: atau demi privasi, mengorbankan kualitas model beberapa bulan, atau terus mengunggah materi sensitif ke server Anthropic—karena kompetitor justru merebut keunggulan produktivitas dengan cara seperti itu.

Saat ini belum ada solusi sempurna di pasar. Sebuah laporan merangkum upaya berbagai pihak untuk memperkecil kesenjangan, untuk mengukur sejauh mana “kecerdasan terdepan di bawah privasi yang bisa dibuktikan” sudah siap diserahkan ke perusahaan dan pengguna biasa.

Bagaimana privasi saat ini bisa dicapai

AI privat bukan satu proyek tunggal, tapi setiap mekanisme yang ada di pasar saat ini menangani kejadian yang sama: sebuah prompt meninggalkan perangkat Anda, melewati jaringan, mendarat di mesin yang menjalankan model, lalu kembali dengan satu jawaban. Perbedaannya antar mekanisme ada pada di bagian jalur mana teks biasa (plaintext) masih ada, siapa yang bisa membacanya di sana, dan dengan apa cara untuk memverifikasi kerahasiaan respons.

Privasi tingkat protokol

Di lapisan ini, selain Anda ada pihak lain yang membaca prompt plaintext Anda; apa yang terjadi setelahnya sepenuhnya bergantung pada satu janji.

· Kontrak zero retention adalah solusi versi perusahaan. Penyedia tahu siapa Anda, memproses prompt Anda, dan berjanji tidak menyimpan; eksekusinya bergantung pada kontrak dan reputasi.

· Agen anonim menghapus identitas Anda, tetapi tidak mengenkripsi apa yang Anda katakan; penyedia layanan hilir tetap memproses plaintext sesuai kebijakan mereka sendiri. Ketentuan tiap pihak berbeda. Misalnya Duck.ai (produk chatbot dari DuckDuckGo) melakukan negosiasi penghapusan dengan vendor model, Venice mengharuskan pengguna menganggap penyedia akan menyimpan semuanya, namun kedua pihak sama-sama tidak punya cara untuk memverifikasi.

Setiap langkah antar mesin dijalankan di atas TLS; ini hanya mengenkripsi “pipa”, dan pihak penerima dapat membaca semua informasi. Relay biasanya memakai Oblivious HTTP (RFC 9458) untuk membelah akses yang “tahu siapa yang mengirim”: prinsipnya seperti titip pesan kertas ke teman. Teman tahu siapa yang menyerahkan tetapi tidak bisa membaca isi, sedangkan penerima bisa membaca isi tetapi tidak tahu siapa penulisnya. OHTTP sejak Januari 2024 sudah menjadi standar IETF; saat ini banyak perusahaan menjalankan trafik produksi lewat relay OHTTP yang disewa dari Cloudflare dan Fastly.

Inilah batas privasi yang bisa didapat saat mengakses model closed-source. Alasannya seperti soal aritmetika. Biaya pelatihan sekali “flagship” sekarang berada pada skala miliaran dolar AS, sementara valuasi laboratorium tersebut, di kisaran puluhan ribu dolar AS, bertaruh pada eksklusivitas bobot model. Seberapa lama kesenjangan kemampuan bertahan, premi juga bertahan; karena itu laboratorium menjaga file bobot seperti rahasia negara.

Meta sudah pernah menjalani eksperimen ini. Pada Februari 2023, LLaMA yang dirilis awalnya hanya dibuka untuk peneliti, namun kurang dari seminggu, bobot bocor dalam bentuk seed ke 4chan. Seminggu kemudian, llama.cpp membuat model terkecil 7B menjawab secara lokal di MacBook; tiga hari setelahnya, Stanford melakukan fine-tuning dengan biaya kurang dari 600 dolar AS pada model yang sama untuk membuat asisten obrolan Alpaca. Kebocoran ini menempatkan biaya menjalankan Llama sampai ke tagihan listrik; siapa pun yang punya file bisa menjalankan dari rumah. Pada Juli 2023, Meta akhirnya merilis Llama 2 sebagai open-source secara komersial, dengan lisensi yang disertai klausul pengecualian 700 juta pengguna aktif bulanan. Bobot berjalan, premi ikut berjalan.

Secara teori, laboratorium terdepan bisa melakukan attestation (bukti jarak jauh) untuk inferensi model closed-source, tetapi attestation hanya bisa membuktikan potongan kode mana yang membaca prompt, tidak bisa membuktikan apa yang kode itu lakukan dengan prompt tersebut. Untuk memastikan apakah server menyimpan data, kita perlu mengaudit kode layanan (serving code) dan merekonstruksinya ke hash yang dilaporkan oleh perangkat keras. Tapi begitu kode layanan diserahkan, laboratorium ikut menyerahkan teknik batch processing dan cache yang menopang margin laba; teknik itu akan bermigrasi ke setiap generasi model berikutnya. Apple dan Meta bisa melakukan remote attestation untuk stack layanan di balik iPhone dan WhatsApp karena keuntungan mereka ada pada perangkat dan iklan; menyerahkan kode layanan yang terbuka hampir tidak menambah biaya yang signifikan.

Inilah alasan bobot model flagship dan kode layanan tidak bisa dijangkau pihak operasi eksternal. Tanpa pihak operasi eksternal, tidak ada pihak ketiga untuk attestation; tanpa attestation, privasi yang bisa diverifikasi hanya ada pada model open-source.

Privasi tingkat struktur

Dalam kategori ini, tiap mekanisme mengganti janji kepercayaan dengan bukti berbasis perangkat keras, kriptografi, atau fisika. Namun masing-masing tetap menanggung biaya berbeda untuk “upgrade privasi”, dan yang pertama: mekanisme ini hanya bisa menjalankan model open-source.

· TEE (trusted execution environment) komputasi rahasia menjalankan inferensi di dalam enclave perangkat keras (sebuah “ruang kedap” di dalam chip yang bahkan tidak bisa dibuka oleh operator mesin), lalu chip akan menandatangani attestation yang menyatakan model mana dan kode mana yang benar-benar dijalankan.

· prompt hanya disegel di titik akhir. Sepanjang jalur yang ditengahi oleh proxy, masih ada satu peran yang dapat membaca plaintext; dan apa yang mencegah proxy mencatat atau membocorkan isi relay itu hanya bisa lewat protokol.

· E2EE (end-to-end encryption) menyegel relay yang bisa dibaca. Perangkat pengguna mengenkripsi prompt dengan kunci dari enclave; setiap lompatan yang dilewati hanya membawa “amplop tersegel” yang hanya bisa diurai oleh enclave.

· Kepercayaan jatuh ke klien. Kode yang bertanggung jawab untuk mengenkripsi prompt dan memvalidasi attestation juga mampu mencabut jaminan itu. Karena itu E2EE yang bisa diverifikasi butuh enclave yang sudah dibuktikan, sekaligus membutuhkan kode klien yang terbuka dan bisa direproduksi.

· Dibanding TEE yang ringkas, E2EE berbiaya lebih berat dalam rekayasa sehingga memperlambat integrasi fitur. E2EE mengubah proxy menjadi kurir buta; maka semua fitur yang butuh baca plaintext harus dibangun ulang di sekitar kunci klien, atau hanya dibangun ulang di dalam enclave.

· FHE (fully homomorphic encryption, termasuk varian MPC) menghapus pihak yang dipercaya. Server melakukan komputasi atas ciphertext di dalam kotak terkunci yang tidak pernah bisa dibuka; kuncinya hanya ada di tangan Anda. MPC (multi-party computation) membagi prompt menjadi potongan rahasia untuk beberapa pihak; kecuali semua pihak bersekongkol, efeknya setara.

· Konsekuensinya adalah kecepatan. FHE asli hanya bisa melakukan penjumlahan dan perkalian; maka langkah-langkah nonlinier yang dibutuhkan transformer harus dibangun kembali dengan biaya tinggi. Biaya inferensi pada ciphertext sekitar 10.000 hingga 100.000 kali biaya pada plaintext. Pada model kecil pun, per token bisa memakan beberapa detik hingga beberapa menit, sedangkan tanpa enkripsi cukup milidetik.

· Chip yang didesain khusus untuk operasi terenkripsi berpotensi mengecilkan kesenjangan, tapi prototype pertama baru selesai demo pada awal 2026; versi komersial masih perlu menunggu beberapa tahun.

· Inferensi lokal langsung menghapus jalur tersebut. Model berjalan di perangkat keras Anda sendiri: tidak ada relay, tidak ada server, tidak ada kebutuhan verifikasi dari penyedia.

· Konsekuensinya jelas: biaya dan kemampuan model. gpt-oss-120b mendapat skor sekitar setengah dari GLM-5.2 pada indeks Artificial Analysis, tetapi volumenya 65GB—lebih dari gabungan dua kartu grafis flagship di pasaran dalam hal memori. GLM-5.2 presisi penuh hanya bisa berjalan di node data center 8 kartu; biaya GPU saja lebih dari 300 ribu dolar AS.

Namun, di luar batasan-batasan struktural ini, biaya menjalankan inferensi di enclave sedang dipangkas. Pada inferensi single-card, benchmark layanan enclave cloud Phala menunjukkan kerugian throughput mode enclave rata-rata tidak sampai 7%; pada model besar mendekati nol, karena biaya utamanya adalah memindahkan data ke chip, bukan menghitung di dalamnya. Pada inferensi multi-kartu, GPU generasi baru NVIDIA Blackwell mendukung enkripsi langsung antar- chip; H100 lama untuk mencapai efek yang sama hanya bisa mengelilingi lewat bandwidth CPU dengan rasio 1 banding 7. Benchmark NVIDIA sendiri pada Blackwell menunjukkan kerugian throughput model 397B dalam mode enclave kurang dari 8%. Dengan kemajuan ini, overhead performa “inferensi privat” tidak lagi menjadi kendala penentu.

Faktanya, enclave hampir tidak menambah biaya operasi untuk operator. Setelah 2023, setiap H100 dilengkapi mode enclave; biaya tambahan berasal dari kerugian throughput akibat enkripsi, bukan dari chip tambahan. Di Azure, harga sewa SKU confidential H100 masih 8,90 dolar AS per jam; tanpa enclave 6,98 dolar AS per jam—setara menambah biaya 27% dibanding fasilitas cloud tradisional. Di sisi lain, pada operator khusus enclave seperti Phala, H100 dalam mode confidential disewakan mulai 3,80 dolar AS per jam—lebih murah dari kisaran 3,99 hingga 4,29 dolar AS untuk kartu Lambda SXM biasa. Untuk skema API terkelola, NEAR AI menyediakan endpoint dengan attestation dengan tarif input 0,15 dolar AS per 1 juta token dan output 0,55 dolar AS, untuk gpt-oss-120b—setara dengan Amazon Bedrock, Together, dan Groq pada jalur plaintext. Bahkan untuk model yang butuh paralel banyak chip, NEAR AI menempatkan harga pada GLM 5.2 sama persis dengan Fireworks, dan pada Kimi K2.6 yang lebih besar input 15% lebih murah serta output 4% lebih murah.

Meski penyedia layanan inferensi privat baru ini mungkin “membakar profit” untuk merebut pangsa (kalimat ini berlaku untuk perusahaan mana pun yang ingin tumbuh di pasar), arah strukturalnya adalah biaya privasi turun untuk konsumen dan operator.

Bagaimana open-source model bisa menang?

Walaupun overhead performa terus dipangkas, masih ada kesenjangan yang terlihat antara model terdepan dan open-source SOTA. Entitas yang mengejar produktivitas maksimal ingin bertahan di garis depan; maka ia harus percaya laboratorium terdepan tidak mencuri IP mereka.

Kesenjangan masih ada, tapi Bridgewater di bawah AIA Labs dan Thinking Machines memberi sebuah contoh pada 30 Juni: sebuah model terbuka yang dilatih ulang dengan bantuan expert-labeled fine-tuning, mampu mengalahkan model terdepan sekaligus pada akurasi dan biaya.

Dalam risetnya, tim melakukan fine-tuning Qwen3-235B di Tinker (layanan fine-tuning terkelola API dari Thinking Machines). Mereka pertama membeli label dari vendor, melatih putaran pertama dengan data tersebut, lalu menyerahkan sampel yang terjadi perbedaan pendapat kepada “investor” di perusahaan untuk diberi label ulang. Proses training memakai reinforcement learning (GRPO), ditambah tiga modifikasi: round-robin batching (masing-masing tugas bergiliran mengeluarkan satu batch), CISPO loss (membatasi batas seberapa jauh jawaban tunggal dapat menarik model), serta on-policy distillation (menambatkan ke checkpoint terbaik saat ini untuk memastikan model tidak belajar dari salinan yang lebih lemah).

Seluruh tugas diambil dari workflow harian para investor: apakah sebuah berita penting bagi profesional investasi tingkat C-suite; apakah dokumen bank sentral memberi sinyal arah perubahan suku bunga masa depan; dan bagaimana memulai kalimat template dalam sebuah dokumen atau email. Skor berasal dari set pengujian independen. Model terdepan, dengan prompt sederhana, rata-rata hanya sekitar 50%; dengan expert prompt pun hanya mencapai 78,2%—di bawah ambang 80% yang ditetapkan investor. Sementara Qwen yang sudah difine-tune meraih 84,7%. Mengacu pada metrik dalam teks asli, ini setara dengan 29,8% lebih sedikit kesalahan dibanding “terbaik” dari model terdepan, dan biaya inferensi 13,8 kali lebih rendah.

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/

Kasus ini membuktikan bahwa model open-source bisa menang dari sisi akurasi dan biaya, tetapi proses training tetap tidak privat. Label expert yang dipakai adalah data privat milik Bridgewater; melewati layanan pihak ketiga Tinker; dan berakhir pada tingkat lapisan kepercayaan yang sama dengan protokol ZDR. Dana talangan juga menyewa komputasi; seluruh training berjalan di mesin yang tidak pernah dimiliki oleh pihak tersebut. Untuk membeli “resep” yang sama tanpa mau menanggung asumsi kepercayaan, pilihan saat ini sangat terbatas. Menyewa klaster GPU telanjang: proses training bisa dibaca oleh operator cloud. Membeli klaster menyelesaikan masalah penempatan data, tapi biayanya bisa melonjak tajam.

Jalur dengan attestation baru muncul. Pada bulan Maret, Workshop Labs dan Tinfoil merilis Silo, sebuah tumpukan post-training yang berjalan di enclave Tinfoil pada satu node 8 kartu; kuncinya hanya dikendalikan oleh pelanggan. Artikel menyebut biaya enclave: training dua jam menambah 11 menit lagi, dan tumpukan ini bisa muat untuk model berparameter satu triliun (Kimi K2 Thinking) karena membekukan bobot basis lalu hanya melatih adapter kecil di atasnya. Tantangannya adalah reinforcement learning perlu bolak-balik memindahkan data antar komponen, dan pemindahan data inilah yang menjadi tempat biaya enclave.

Kurang dari satu bulan setelah Silo rilis, Workshop Labs diakuisisi oleh Thinking Machines, dan komponen yang diperlukan untuk menjalankan satu putaran RL ala Bridgewater di enclave kini berada di bawah satu perusahaan yang sama.

Privasi pada lapisan harness

Ada masalah lain di luar semua mekanisme inferensi privat ini. Mekanisme-mekanisme tersebut masing-masing mengurus jalur dari prompt ke model, sedangkan setiap kali agent memanggil alat eksternal, ia membuka jalur untuk “layer inferensi” yang sama sekali tidak bisa dijangkau oleh enclave. Tren harness engineering baru-baru ini memperbesar masalah itu berkali-kali: setiap alat, memori, dan sumber data yang dipasang di sekitar model adalah tujuan lain yang bisa membaca potongan workflow mereka sendiri dalam bentuk plaintext. Server kalender membaca jadwal, server database membaca kueri. Bahkan jika sebuah agent benar-benar berjalan lokal, bila ia ingin mengakses apa pun di luar training set, ia tetap perlu mengirim kata kunci dalam bentuk plaintext ke mesin pencari; karena jika server tidak bisa membaca plaintext, ia tidak bisa menjawab.

Solusi arus utama tetap mengandalkan lapisan protokol. Runlayer dan MintMCP menggunakan sebuah gateway pusat yang mengatur seluruh arus alat (tool traffic). Sebelum permintaan keluar, gateway menyamarkan informasi identitas pribadi (PII). Gateway juga memutuskan server mana yang boleh menerima trafik, menghalangi yang belum diperiksa; serta mencatat tujuan dan isi setiap pemanggilan untuk kebutuhan pembuktian. Walaupun kontrol ini memakai audit terpisah (SOC 2), server tool tetap harus membaca kueri plaintext agar bisa menjawab; apakah ia menyimpan salinan bergantung pada ketentuan retensinya sendiri, dan itu ditambah lagi dengan setiap alat di dalam harness. Selain itu, gateway itu sendiri adalah pembaca dependensi kepercayaan tambahan di jalur, bukan verifikator.

Solusi tingkat struktur mengatasi lapisan tengah itu. Misalnya Phala meng-host MCP server langsung di TEE: cakupan direktori meliputi wallet, eksekusi kode, dan sumber data. Pengguna bisa memverifikasi klaim privasi lewat attestation, bukan lewat kepercayaan pada operator. Namun tool yang di-host di TEE pada akhirnya tetap harus mengirim kueri plaintext ke penyedia layanan; enclave hanya menyegel “kurir”, bukan “tujuan”.

Hanya sebagian kecil “tujuan” yang belajar bisa menjawab tanpa membaca, tapi itu terbatas pada kueri yang terstruktur. Apple menyediakan private information retrieval untuk iPhone: saat mencocokkan nomor panggilan dengan basis data penelpon spam, nomor tidak perlu diekspos. Microsoft memakai skema serupa di Edge browser untuk kata sandi. MongoDB dengan Queryable Encryption membuat klien mengenkripsi sebelum field keluar; server bisa melakukan pemadanan kesetaraan dan pencocokan rentang hanya dari ciphertext.

Namun untuk pencarian terbuka, jawaban terbaik saat ini berhenti pada kepercayaan. Pencarian terenkripsi yang bisa diverifikasi belum keluar dari laboratorium. Brave menjanjikan zero-data-retention pada indeksnya sendiri yang berisi 40 miliar halaman (bukan indeks Google), tetapi tetap berada di lapisan protokol. Exa membangun neural index: kata kunci pengguna diubah menjadi embedding semantik, lalu hasil diurutkan berdasarkan kecocokan semantik. Namun langkah embedding tetap dihitung dalam bentuk plaintext di server Exa. Kertas Tiptoe MIT 2023 menyelesaikan penelusuran pada 360 juta halaman tanpa mengekspos kueri, tetapi setiap pencarian menghabiskan banyak tenaga komputasi server; kualitas peringkat berbeda dari pencarian plaintext. Kertas Wally Apple 2024 menyembunyikan kueri asli dalam kumpulan umpan (decoy) sehingga biaya komunikasi bisa ditekan hingga 31 kali, tetapi matematikanya baru murah pada skala jutaan kueri paralel; pada skala seperti itu, tidak ada sistem private search yang memilikinya saat ini.

Pencarian terenkripsi bisa dilakukan, tetapi kinerja dan harga belum memenuhi kelayakan komersial.

Prospek

Kebutuhan AI privat meningkat. Venice AI baru-baru ini menembus 3,5 juta pengguna terdaftar dan throughput 1,3 triliun token per bulan; setelah itu mereka menyelesaikan putaran ekuitas Series A senilai 1 miliar dolar AS. Proton adalah kompetitor langsungnya; produk chat mereka Lumo melampaui 10 juta pengguna dalam satu tahun. Dari sisi infrastruktur, Phala saat ini sudah menjalankan 2 hingga 3 miliar token per hari di OpenRouter. Duck.ai merutekan gpt-oss-120b dan Gemma ke enclave Tinfoil, memberi pengguna privasi yang bisa diverifikasi di luar agen mereka. Belum dihitung self-hosting—dan ini bisa jadi jalur terbesar untuk inferensi privat, karena model berjalan di perangkat keras sendiri dan tidak meninggalkan jejak penggunaan apa pun.

Namun jika ditempatkan dalam arus besar AI arus utama, AI privat hanya bagian kecil; kesenjangan ini hanya akan mendekat jika laboratorium terdepan memang sengaja memenuhi kebutuhan tersebut. Pada bulan Mei, Google memproses 3.200 triliun token di seluruh produknya; jika dihitung demikian, throughput Venice satu bulan kira-kira setara dengan 18 menit Google. Pada November tahun lalu, Google meluncurkan Private AI Compute (PAC), menempatkan sebagian fungsi yang didorong Gemini ke dalam enclave TPU tersegel yang terisolasi dari perusahaan, serta merancang audit independen oleh NCC Group. Masalahnya: PAC hanya mencakup sedikit fungsi seperti rekomendasi personalisasi dan ringkasan rekaman Pixel, bukan aplikasi Gemini yang dipakai ratusan juta orang. Google berani menyerahkan desain pada pihak audit karena fungsi-fungsi itu menghasilkan uang dari perangkat dan iklan, bukan dari penjualan token.

Skema terkelola saat ini juga belum sempurna. Untuk mendapatkan privasi tertinggi via E2EE, Anda harus menunggu fitur baru dibangun ulang di tempat penyedia tidak bisa membacanya. Harness privat di sisi layanan masih bergantung pada protokol. Post-training dengan harga wajar demi mengambil hasil fine-tuning terbaik tetap butuh kepercayaan pada penyedia pihak ketiga. Self-hosting memang membuang semua penyedia sekaligus, tetapi menjalankan open-source model terbaik secara lokal bisa jadi biayanya lebih mahal daripada memasangnya di dalam rumah yang sudah terpasang perangkat tersebut.

Kekurangan tetap kekurangan, tapi AI privat sudah menjadi opsi yang nyata dan terjangkau, dan gap yang tersisa terus mengecil. Untuk konsumen biasa, pada Lumo dan Venice, dengan janji tanpa log, chat privat model open-source tanpa biaya sepeser pun; langganan Venice atau Tinfoil 18 hingga 20 dolar AS memaketkan chat yang sama di enclave, tidak lebih mahal dari langganan ChatGPT. Untuk workflow perusahaan, endpoint dengan attestation kini bahkan lebih murah dibanding jalur plaintext. Endpoint seperti E2EE API dari NEAR sudah bisa membawa konteks terenkripsi ke enclave; memori, unggah file, dan instruksi kustom bisa berjalan di atas E2EE. Adapun post-training dengan attestation, Vera Rubin NVL72 yang segera diluncurkan NVIDIA akan memperluas confidential compute dari node 8 kartu Blackwell menjadi 72 kartu per rak, sehingga RL loop terdepan menjadi lebih feasible tanpa mengekspos IP.

Namun nilai utama dalam penangkapan profit berada di luar lapisan yang tekanannya pada harga. Privasi di tempat yang sudah ada hampir gratis, tetapi belum mencakup agentic workflow arus utama. Operator yang fokus menyewakan enclave memegang “saklar” pada chip standar, bukan benteng pertahanan; gateway di lapisan protokol bersaing langsung dengan middleware tradisional. Posisi pertahanan yang bisa dilindungi adalah separuh yang belum diselesaikan dalam laporan ini: loop training yang berada di dalam enclave, panggilan alat yang tertutup rapat end-to-end, dan indeks pencarian yang tak terlihat. Siapa pun yang pertama membuat salah satu dari komponen tersebut, yang dijual bukanlah sesuatu yang bisa diperdagangkan menjadi barang perang harga. Kapital yang mengejar privasi AI seharusnya membeli gap, bukan saklarnya.

Jadi, percaya atau verifikasi? Untuk tugas yang butuh repeat execution dan repeat agent, pilih percaya, karena setiap tool call memang sudah menyerahkan plaintext ke tujuan yang tidak bisa disegel oleh enclave, dan model terdepan pantas atas harganya dalam loop seperti itu. Untuk penalaran tingkat lanjut yang membedakan sebuah perusahaan dari lawannya, pilih verifikasi: strategi, perencanaan, dan penilaian yang diekstraksi dari pengalaman profesional bertahun-tahun—tepat itulah alpha yang diperebutkan. Jalan ke depan adalah di dalam batas perusahaan yang bisa dikendalikan, menggunakan insight proprietari ini untuk fine-tune open-source model. Di wilayah yang menjadi tempat alpha perusahaan, model open yang telah disetel ahli sudah mengalahkan terdepan sekaligus pada akurasi dan biaya; dan infrastruktur untuk membangunnya dalam lingkungan privasi datang satu node demi satu node.

Tautan sumber asli

Klik untuk mengetahui lowongan di L(youtube)动 BlockBeats (律动BlockBeats) dan posisi yang tersedia

Selamat bergabung dengan komunitas resmi律动 BlockBeats:

Grup langganan Telegram: https://t.me/theblockbeats

Grup obrolan Telegram: https://t.me/BlockBeats_App

Akun resmi Twitter: https://twitter.com/BlockBeatsAsia