Paolo Ardoino dari Tether Membuat Kasus untuk Model Terjemahan Kecil di Perangkat

CEO Tether Paolo Ardoino telah menyoroti sudut pandang yang sangat berbeda dari kecerdasan buatan: terjemahan yang sepenuhnya terjadi di perangkat, tanpa mengirim teks sensitif ke cloud.

Dalam sebuah postingan terbaru, Ardoino membingkai masalah ini seputar privasi, kecepatan, dan kepraktisan. Poinnya cukup sederhana, tetapi menyentuh masalah yang dihadapi oleh jutaan pengguna setiap hari. Ketika seseorang menerjemahkan catatan medis, pesan pribadi, kontrak hukum, atau bahkan entri jurnal pribadi melalui layanan cloud, teks tersebut meninggalkan perangkat dan masuk ke infrastruktur orang lain.

Dalam banyak kasus, pengguna tidak sepenuhnya tahu ke mana data tersebut pergi, berapa lama disimpan, atau siapa yang mungkin dapat mengaksesnya. Ardoino berpendapat bahwa ini bukan hanya kekhawatiran teoretis, tetapi kekhawatiran nyata, terutama dalam kasus penggunaan di mana kerahasiaan sangat penting.

Menurut Ardoino, jawabannya bukan bergantung pada model AI umum yang semakin besar dan kompleks. Sebaliknya, dia berpendapat bahwa terjemahan adalah salah satu pekerjaan di mana model kecil dan khusus dapat mengalahkan “Goliath.”

Dalam pandangannya, jika tugasnya adalah menerjemahkan satu bahasa ke bahasa lain, tidak perlu menggunakan model besar yang juga dapat menulis puisi, merangkum artikel, dan melakukan selusin tugas yang tidak terkait. Untuk terjemahan, model khusus yang dibangun untuk satu tujuan bisa lebih kecil, lebih cepat, dan lebih andal.

Mengungguli LLM yang Lebih Besar

Ardoino menunjukkan batasan model bahasa umum pada perangkat tepi seperti ponsel dan laptop. Bahkan model yang relatif kecil pun dapat mengkonsumsi penyimpanan yang signifikan, membutuhkan waktu lama untuk dimuat, dan tetap berjalan terlalu lambat untuk pengalaman pengguna yang lancar.

Sebaliknya, model terjemahan mesin neural khusus dapat jauh lebih ringan, sering hanya beberapa puluh megabyte, saat dimuat dalam milidetik dan menghasilkan terjemahan jauh lebih cepat. Dalam penuturan Ardoino, perbedaan ini bukan sekadar trivia teknis. Ini mengubah apa yang mungkin dilakukan pengguna nyata di perangkat nyata.

Argumen yang berfokus pada privasi ini menjadi pusat pendekatan yang didorong melalui QVAC, proyek yang dia bahas dalam postingan tersebut. Ide utamanya adalah membuat terjemahan sepenuhnya lokal, sehingga seluruh proses berlangsung di ponsel, laptop, atau perangkat keras tertanam pengguna. Tidak diperlukan permintaan cloud.

Tidak ada pihak ketiga yang perlu melihat teks tersebut. Bagi pengguna dan pengembang yang peduli tentang kepatuhan, ini juga berarti lebih sedikit masalah pengolahan data, kekhawatiran transfer lintas batas, dan pertanyaan keamanan. Ardoino juga menjelaskan bagaimana tim mencapai arah ini.

Upaya terjemahan mereka sebelumnya bergantung pada model Opus-MT, yang bekerja tetapi lebih besar dan lebih lambat dari yang mereka inginkan untuk penggunaan mobile. Cakupan juga menjadi masalah. Jika pasangan bahasa tidak tersedia, melatih model baru akan membutuhkan pekerjaan tambahan yang signifikan.

Peralihan ke Bergamot, yang dia gambarkan sebagai lebih kecil, lebih cepat, dan cakupannya lebih luas, tampaknya menyelesaikan banyak masalah tersebut. Postingan tersebut juga menegaskan bahwa QVAC tidak membatasi diri pada satu jenis mesin terjemahan. Meskipun model NMT khusus adalah tujuan jangka panjang, sistem ini juga dapat mendukung terjemahan berbasis LLM sementara waktu.

Strategi Jembatan Praktis

Ardoino menggambarkan itu sebagai strategi jembatan yang praktis. Jika pasangan bahasa baru perlu dikirim dengan cepat, model yang lebih besar dapat diterapkan terlebih dahulu, sementara model terjemahan khusus dilatih secara paralel. Dengan cara ini, pengguna mendapatkan dukungan langsung, dan pengalaman dapat meningkat seiring waktu saat model yang lebih kecil menggantikan cadangan sementara.

Tema lain dalam postingan adalah terjemahan batch. Ardoino mengatakan ini menjadi penting setelah tim melampaui demo dan mulai memikirkan penggunaan produksi seperti dokumen, riwayat obrolan, dan input multi kalimat.

Menerjemahkan satu kalimat sekaligus mungkin cukup untuk antarmuka sederhana, tetapi pemrosesan batch membuat perbedaan besar dalam aplikasi nyata. Tim mengatakan hasilnya sekitar 2,5 kali lebih cepat throughput secara skala, dengan peningkatan latensi yang terlihat per kalimat.

Bagian paling ambisius dari usulan ini adalah cakupan. Alih-alih mencoba membangun model terpisah untuk setiap pasangan bahasa yang mungkin, QVAC menggunakan bahasa Inggris sebagai pivot. Itu berarti jalur terjemahan, seperti Spanyol ke Italia, dapat ditangani dengan menggabungkan model Spanyol ke Inggris dan Inggris ke Italia.

Secara praktis, ini mengurangi jumlah model yang dibutuhkan dari jumlah yang sangat besar menjadi sesuatu yang jauh lebih dapat dikelola. Ardoino menyarankan bahwa mendukung 26 bahasa mungkin membutuhkan sekitar 50 model daripada 650, membuat sistem terjemahan di perangkat yang luas menjadi jauh lebih realistis.

Dia juga membagikan angka benchmark yang menunjukkan mengapa pendekatan ini penting pada perangkat keras nyata. Pada laptop Linux, model Bergamot Inggris ke Italia dilaporkan dimuat dalam sedikit lebih dari 100 milidetik dan memberikan kualitas terjemahan yang tinggi.

Pada Pixel 10 Pro XL yang berjalan langsung di perangkat, model dimuat dalam kurang dari 80 milidetik dan tampil sangat baik dalam mode batch. Ardoino mengatakan hasil mobile menunjukkan keunggulan yang jelas dibandingkan terjemahan berurutan, dengan pemrosesan batch menghasilkan pengalaman yang jauh lebih responsif.

Memandang ke depan, tim mengatakan akan memperluas ke bahasa India melalui IndicTrans dan ke lebih banyak bahasa Afrika melalui AfriqueGemma, sambil juga menjelajahi streaming terjemahan untuk obrolan langsung dan pembuatan subtitle. Pesan utama dari postingan tersebut adalah bahwa AI lokal tidak harus menjadi kompromi. Dalam hal terjemahan, setidaknya, Ardoino berpendapat bahwa model yang lebih kecil mungkin tidak hanya cukup, tetapi juga lebih baik.