Postingan

Model penjadwalan buatan orang Tiongkok berusia 24 tahun ini membuat Claude dan GPT bergiliran bekerja. Pemandangan ini lebih berharga daripada 4 juta penayangan. Urusan routing multi-model bukan hal baru. Yang baru adalah ada orang yang benar-benar mengemasnya menjadi produk. Minggu lalu saya masih berpindah-pindah secara manual di antara beberapa model sampai kesal sendiri—jawabannya tersembunyi dalam detail. Saya berani bertaruh Anthropic atau OpenAI akan meluncurkan lapisan routing resmi mereka sendiri dalam sebulan. Kita lihat lagi akhir pekan ini.



Secara sederhana, model penjadwalan ini seperti mengatur jadwal kerja model besar: bukan meminta satu model menangani semuanya, melainkan membagi tugas berdasarkan jenis pekerjaan, biaya, latensi, dan standar kualitas. Misalnya, ringkasan teks panjang dan penalaran kompleks diserahkan kepada Claude, sedangkan pembuatan kode, keluaran terstruktur, dan pemanggilan alat diserahkan kepada GPT. Saat volume permintaan tinggi, sistem memprioritaskan model yang lebih murah; untuk tanya jawab penting, sistem beralih ke model yang lebih mumpuni. Pemandangan ini lebih berharga daripada 4 juta penayangan karena jumlah penayangan menunjukkan bahwa orang-orang tertarik, sedangkan produkisasi menunjukkan bahwa ada yang berhasil mengubah “ketertarikan” itu menjadi alur kerja yang bisa dijalankan. Routing multi-model sendiri bukan hal baru. OpenRouter, Router di LangChain, dan berbagai kerangka kerja Agent dapat melakukan hal serupa, tetapi kebanyakan masih sebatas lapisan perekat bagi pengembang: kita harus menulis evaluasi sendiri, menentukan ambang batas sendiri, dan menangani mekanisme fallback saat terjadi kegagalan. Yang benar-benar sulit adalah detail produkisasinya—model mana yang lebih unggul untuk tugas tertentu, bagaimana menurunkan kemampuan saat terjadi timeout, apakah prompt perlu ditulis ulang sesuai model, bagaimana beralih secara otomatis ketika biaya naik 20%, dan apakah pengguna bisa melihat “mengapa kali ini Claude yang dipakai, bukan GPT”. Jawabannya tersembunyi dalam detail-detail ini.

Minggu lalu saya mengerjakan permintaan kode yang menyertakan tabel. Saya menggunakan GPT untuk membuat strukturnya, lalu beralih ke Claude untuk memoles penjelasan, dan akhirnya kembali ke GPT untuk mengubahnya menjadi JSON. Saya berpindah-pindah empat atau lima kali sampai kesal sendiri. Saat itulah saya sadar bahwa yang dibutuhkan pengguna bukan lebih banyak model, melainkan “petugas penjadwalan” yang andal. Jadi, nilai sebenarnya dari model penjadwalan buatan orang Tiongkok berusia 24 tahun ini bukanlah pamer kemampuan, melainkan menjadikan “penjadwalan” sebagai pengalaman default: pengguna cukup menyampaikan kebutuhan, lalu sistem memilih model, memvalidasi hasil, dan mencoba lagi jika terjadi kegagalan di balik layar. 4 juta penayangan adalah perhatian; produkisasi adalah modal untuk tetap berada di meja permainan. Saya berani bertaruh Anthropic atau OpenAI akan meluncurkan lapisan routing resmi mereka sendiri dalam sebulan. Bagaimanapun, penyedia model paling memahami biaya, latensi, dan batas kemampuan model mereka sendiri, serta punya alasan untuk menjadikan kolaborasi multi-model sebagai fitur resmi. Kita lihat lagi akhir pekan ini.
Lihat Asli
post-image
Halaman ini berisi konten pihak ketiga dan bukan merupakan nasihat apa pun, juga tidak mewakili dukungan Gate atas pandangan tersebut. Untuk detail, silakan lihat penafian.

  • 1

Tambahkan komentar
Tambahkan komentar

Komentar 1
ValueValley
Mengatur jadwal? Kukira ini untuk mengidentifikasi koin-koin bodong di dunia kripto.