Ketika tagihan AI tidak terkendali, model router menjadi favorit baru perusahaan untuk mengurangi biaya.

Seiring dengan terus meningkatnya biaya penggunaan AI di perusahaan, teknologi bernama "model router" dengan cepat beralih dari alat pinggiran menjadi arus utama. Sistem ini secara otomatis menyesuaikan model AI yang paling sesuai berdasarkan tingkat kompleksitas tugas, memangkas pengeluaran secara signifikan tanpa mengorbankan kualitas secara berarti, dan menarik perhatian luas dari perusahaan rintisan hingga perusahaan besar.

Logika inti model router adalah: tidak semua tugas memerlukan model mutakhir yang paling mahal. Tugas-tugas dasar seperti meringkas email, mengambil dokumen dapat ditangani oleh model sumber terbuka atau model kepemilikan versi lama, dengan biaya hanya sebagian kecil dari model kelas atas. Perusahaan seperti Snowflake dan Palo Alto Networks telah mengonfirmasi kepada The Information bahwa mereka mencapai penghematan biaya yang signifikan dengan mengganti model yang lebih murah untuk tugas-tugas tertentu.

Tren ini sedang menghasilkan imbalan bisnis yang nyata. Perusahaan konstruksi McCarthy Building mengatakan bahwa melalui alat router Evolve milik Palantir, penggunaan token AI kuartal mereka berkurang 60% dibandingkan dengan periode yang sama tahun lalu. Palantir sendiri mengungkapkan bahwa dalam satu kasus spesifik, alat tersebut memangkas biaya komputasi sebesar 97% dengan mengalihkan tugas dari GPT-5.1 milik OpenAI ke model GPT-5.4 Nano yang lebih kecil.

Dari Pemilihan Model Manual ke Routing Otomatis: Titik Balik Industri

Konsep model router bukanlah hal baru, tetapi benar-benar memasuki pandangan publik setelah OpenAI merilis GPT-5. Model ini secara otomatis beralih di antara model-model berbeda di dalam ChatGPT berdasarkan kompleksitas prompt pengguna, menanamkan logika routing ke dalam produk. Sejak itu, router yang mampu menjadwalkan model di berbagai vendor mulai menyebar dengan cepat.

Saat ini, router di pasaran hadir dalam berbagai bentuk: ada produk independen, modul fungsi bawaan dari penyedia layanan cloud, serta solusi kustom yang dibangun sendiri oleh departemen TI perusahaan. Tujuan bersama alat-alat ini adalah menggantikan operasi pemilihan model manual oleh pengguna, sehingga mengurangi biaya sambil mempertahankan kualitas output.

Unity AI Gateway yang diluncurkan Databricks adalah salah satu contohnya. CEO perusahaan, Ali Ghodsi, mengatakan bahwa alat ini "sangat populer" karena banyak perusahaan "menghabiskan anggaran terlalu cepat." Databricks telah menggunakan alat ini secara internal sebelum memperkenalkannya kepada pelanggan.

Dari Perusahaan Rintisan hingga Raksasa Teknologi: Semua Terjun Penuh

Lintasan router sedang menarik peserta dari berbagai skala. Menurut laporan The Information sebelumnya, pada bulan April tahun ini, perusahaan rintisan yang menyediakan teknologi routing, OpenRouter, menyelesaikan putaran pendanaan baru senilai $120 juta, menunjukkan antusiasme pasar ke arah ini.

"Router Otomatis" OpenRouter memutuskan model mana yang akan dipanggil berdasarkan preferensi pengguna terhadap biaya dan kualitas (ditetapkan sendiri pada skala 0 hingga 10). Data menunjukkan bahwa router ini memilih Gemini 2.5 Flash Lite yang relatif murah dari Google sekitar sepertiga dari waktu, sementara proporsi pemanggilan GPT-5.5 yang lebih kuat dari OpenAI hanya sekitar 10%. Router otomatis OpenRouter didukung oleh perusahaan rintisan Not Diamond, yang fokus mengembangkan sistem routing untuk agen pemrograman AI.

Laboratorium AI Jepang, Sakana AI, baru-baru ini merilis sistem multi-model berbasis router yang bekerja sama. Dalam pengujian, sistem ini terutama menugaskan masalah matematika ke GPT-5.5 milik OpenAI, dan masalah sains ke Gemini milik Google, dengan alasan bahwa sistem menilai kedua model tersebut unggul di bidang masing-masing dibandingkan opsi lain. Sakana AI mengklaim bahwa kinerja keseluruhan sistem "setara" dengan model Fable 5 dan Mythos Preview milik Anthropic pada tolok ukur seperti pemrograman, teknik, tugas sains, dan penalaran.

Aplikasi AI pemrograman Cognition juga merilis router baru minggu ini, menggunakan tolok ukur internalnya untuk mengidentifikasi keunggulan relatif dari berbagai agen, dan memperkenalkan agen "sidekick" untuk menangani tugas yang lebih sederhana. Cognition mengatakan bahwa router tersebut mencapai skor tingkat Fable 5 pada tolok ukur pemrograman tertentu, namun dengan biaya 35% lebih rendah.

Routing DIY, Solusi Biaya Rendah Juga Efektif

Tidak semua perusahaan perlu membeli produk routing profesional. Pengembang dapat menggunakan agen pemrograman AI seperti Claude Code untuk membangun router mereka sendiri, atau bahkan langsung meminta model AI untuk memutuskan model mana yang paling cocok untuk menangani kueri tertentu.

Hunter Bown, yang bertanggung jawab atas pekerjaan AI agen di Arcee AI, mengatakan bahwa ia terbiasa menggunakan DeepSeek V4 Flash untuk pemilihan model karena biayanya yang murah. Cara ia lakukan adalah memberikan daftar model kepada DeepSeek dan memintanya untuk menilai model mana yang paling cocok untuk menangani prompt saat ini.

Namun, solusi "bangun cepat" semacam ini juga memiliki keterbatasan. Pendiri penyedia router Martian, Shriyash Upadhyay, menunjukkan bahwa router yang lebih kompleks terkadang menunjukkan skor tolok ukur yang cemerlang, tetapi kinerja aktualnya belum tentu sesuai. Ia juga menyebutkan bahwa bahkan dengan router yang lebih canggih, memprediksi model terbaik hanya berdasarkan prompt pertama pengguna cukup sulit.

Upadhyay mengatakan bahwa kecepatan iterasi model yang cepat dan perubahan kemampuan yang terus-menerus membuat keputusan routing semakin kompleks. "Perusahaan tidak memiliki data tak terbatas tentang semua tugas yang berbeda, jadi Anda harus benar-benar masuk ke dalam model dan mencari tahu apa yang dikuasai model-model ini." Untuk itu, ketika membuat keputusan routing, Martian tidak hanya merujuk pada output model, tetapi juga mempertimbangkan proses komputasi internal yang membentuk model-model tersebut.

Tekanan Biaya Berlanjut, Permintaan Router Diperkirakan akan Meningkat

Kecemasan perusahaan terhadap biaya AI bukanlah fenomena jangka pendek. Seiring dengan terus meningkatnya penggunaan model AI tingkat lanjut oleh karyawan (fenomena "tokenmaxxing"), pengawasan manajemen terhadap pengeluaran AI semakin ketat. Latar belakang ini memberikan dorongan permintaan yang berkelanjutan untuk model router.

Di luar fungsi routing, alat Evolve milik Palantir juga dapat secara otomatis menyesuaikan konten prompt berdasarkan model yang dipilih, dan mencegah permintaan dikirim berulang kali ke model – yang merupakan salah satu penyebab umum pengenaan biaya berlebih. Kasus McCarthy Building menunjukkan bahwa dengan mengoptimalkan struktur prompt, perusahaan dapat mengonsumsi lebih sedikit token saat menggunakan model mutakhir, sambil mendapatkan output yang sama.

Bagi investor, pemanasan lintasan model router berarti: di satu sisi, perusahaan rintisan yang berfokus pada teknologi routing seperti OpenRouter sedang mendapatkan minat modal; di sisi lain, perusahaan seperti Databricks dan Palantir yang mengintegrasikan fungsi routing ke dalam platform AI perusahaan juga memperkuat daya saing produk mereka. Seiring dengan terus meluasnya pengeluaran infrastruktur AI, lapisan alat yang membantu perusahaan mengendalikan pengeluaran ini menjadi pasar baru yang tidak dapat diabaikan.

Peringatan Risiko dan Ketentuan Penyangkalan

        Pasar mengandung risiko, investasi harus hati-hati. Artikel ini tidak merupakan saran investasi pribadi, dan tidak mempertimbangkan tujuan investasi, situasi keuangan, atau kebutuhan khusus pengguna individu. Pengguna harus mempertimbangkan apakah pendapat, pandangan, atau kesimpulan apa pun dalam artikel ini sesuai dengan situasi spesifik mereka. Investasi berdasarkan ini, tanggung jawab ada pada diri sendiri.