Tether 執行長 Paolo Ardoino 將焦點轉向人工智慧的一個截然不同角落：完全在裝置上進行的翻譯，無需將敏感文本傳送到雲端。
在最近的一篇文章中，Ardoino 圍繞隱私、速度和實用性來構建議題。他的觀點很簡單，但觸及了每天有數百萬用戶都會遇到的問題。當有人透過雲端服務翻譯醫療筆記、私人訊息、法律合約，甚至是個人日記時，該文本就會離開裝置，進入他人的基礎設施。
在許多情況下，用戶並不完全知道資料的去向、保留時間或誰可能有權存取。Ardoino 認為，這不僅僅是理論上的擔憂，而是一個真實存在的問題，尤其在保密性很重要的應用場景中。
根據 Ardoino 的說法，答案不是依賴越來越大的通用 AI 模型。相反，他認為翻譯就是那些小型、專用模型可以擊敗「巨人」的工作之一。
在他看來，如果任務是將一種語言翻譯成另一種語言，就沒有必要使用能寫詩、摘要文章和執行多種無關任務的巨大模型。對於翻譯來說，專為一個目的打造的專用模型可以更小、更快、更可靠。
超越大型 LLM
Ardoino 指出，通用語言模型在手機和筆記型電腦等邊緣裝置上的限制。即使是相對較小的模型，也可能佔用大量存儲空間、載入時間較長，並且仍然無法提供流暢的用戶體驗。
相比之下，專用的神經機器翻譯模型可以大幅變輕，通常只有幾十兆字節大小，能在毫秒內載入，並且產生更快的翻譯。在 Ardoino 看來，這個差異不僅是技術上的瑣事。它改變了真實用戶在真實裝置上的可能性。
這個以隱私為先的論點，是他在文章中討論的 QVAC 項目推動的核心。這個想法是讓翻譯完全本地化，整個過程都在用戶的手機、筆記型電腦或嵌入式硬體上完成。不需要雲端請求。
沒有第三方需要看到文本。對於關心合規性的用戶和開發者來說，這也意味著更少的資料處理麻煩、更少的跨境傳輸問題，以及更少的安全疑慮。Ardoino 也說明了團隊是如何走到這個方向的。
他們早期的翻譯工作依賴 Opus-MT 模型，效果不錯，但比起用於行動裝置的需求，模型較大且較慢。覆蓋範圍也是一個問題。如果某個語言對尚未支援，訓練新模型就需要大量額外工作。
轉向 Bergamot，Ardoino 描述它更小、更快、覆蓋範圍更廣，似乎解決了許多這些問題。文章也明確指出，QVAC 不僅限於一種翻譯引擎。雖然專用的 NMT 模型是長期目標，但系統目前也能支援基於 LLM 的翻譯。
實用的橋接策略
Ardoino 將其描述為一個實用的橋接策略。如果需要快速推出新的語言對，可以先部署較大的模型，同時並行訓練專用翻譯模型。這樣，用戶可以立即獲得支援，隨著較小模型取代臨時備援，體驗也能逐步改善。
文章中的另一個主題是批次翻譯。Ardoino 表示，當團隊超越示範階段，開始考慮文件、聊天記錄和多句輸入等實際應用時，批次處理變得非常重要。
一次翻譯一句對於簡單界面可能沒問題，但批次處理在實際應用中差異巨大。團隊表示，這使得在大規模運作時的吞吐量提升約 2.5 倍，且每句的延遲明顯改善。
最具雄心的部分是覆蓋範圍。QVAC 不打算為每個可能的語言對建立獨立模型，而是以英語作為樞紐。也就是說，像西班牙語到義大利語的翻譯路徑，可以透過串接西班牙語到英語和英語到義大利語的模型來實現。
在實務層面，這將所需模型數量從龐大的數字大幅降低到更易管理的範圍。Ardoino 建議，支援 26 種語言大約需要 50 個模型，而非 650 個，讓一個廣泛的裝置本地翻譯系統變得更為現實。
他也分享了基準數據，說明這個方法在實際硬體上的重要性。在 Linux 筆記型電腦上，Bergamot 的英語到義大利語模型載入時間約 100 毫秒，且提供高品質的翻譯。
在 Pixel 10 Pro XL 裝置上，模型在裝置上載入時間不到 80 毫秒，並在批次模式下表現尤佳。Ardoino 表示，手機端的結果明顯優於逐句翻譯，批次處理帶來更具反應性的體驗。
展望未來，團隊表示將擴展 Indic 語言的支持，通過 IndicTrans，以及擴展非洲語言的覆蓋範圍，通過 AfriqueGemma，同時也在探索用於即時聊天和字幕生成的串流翻譯。這篇文章的更廣泛訊息是，本地 AI 不一定是妥協。在翻譯方面，至少 Ardoino 認為，小型模型不僅足夠，而且可能更佳。
13.65萬 熱度
1.18億 熱度
114.54萬 熱度
6.06萬 熱度
1.32萬 熱度
泰達幣的 Paolo Ardoino 為小型設備上的翻譯模型辯護
Tether 執行長 Paolo Ardoino 將焦點轉向人工智慧的一個截然不同角落：完全在裝置上進行的翻譯，無需將敏感文本傳送到雲端。
在最近的一篇文章中，Ardoino 圍繞隱私、速度和實用性來構建議題。他的觀點很簡單，但觸及了每天有數百萬用戶都會遇到的問題。當有人透過雲端服務翻譯醫療筆記、私人訊息、法律合約，甚至是個人日記時，該文本就會離開裝置，進入他人的基礎設施。
在許多情況下，用戶並不完全知道資料的去向、保留時間或誰可能有權存取。Ardoino 認為，這不僅僅是理論上的擔憂，而是一個真實存在的問題，尤其在保密性很重要的應用場景中。
根據 Ardoino 的說法，答案不是依賴越來越大的通用 AI 模型。相反，他認為翻譯就是那些小型、專用模型可以擊敗「巨人」的工作之一。
在他看來，如果任務是將一種語言翻譯成另一種語言，就沒有必要使用能寫詩、摘要文章和執行多種無關任務的巨大模型。對於翻譯來說，專為一個目的打造的專用模型可以更小、更快、更可靠。
超越大型 LLM
Ardoino 指出，通用語言模型在手機和筆記型電腦等邊緣裝置上的限制。即使是相對較小的模型，也可能佔用大量存儲空間、載入時間較長，並且仍然無法提供流暢的用戶體驗。
相比之下，專用的神經機器翻譯模型可以大幅變輕，通常只有幾十兆字節大小，能在毫秒內載入，並且產生更快的翻譯。在 Ardoino 看來，這個差異不僅是技術上的瑣事。它改變了真實用戶在真實裝置上的可能性。
這個以隱私為先的論點，是他在文章中討論的 QVAC 項目推動的核心。這個想法是讓翻譯完全本地化，整個過程都在用戶的手機、筆記型電腦或嵌入式硬體上完成。不需要雲端請求。
沒有第三方需要看到文本。對於關心合規性的用戶和開發者來說，這也意味著更少的資料處理麻煩、更少的跨境傳輸問題，以及更少的安全疑慮。Ardoino 也說明了團隊是如何走到這個方向的。
他們早期的翻譯工作依賴 Opus-MT 模型，效果不錯，但比起用於行動裝置的需求，模型較大且較慢。覆蓋範圍也是一個問題。如果某個語言對尚未支援，訓練新模型就需要大量額外工作。
轉向 Bergamot，Ardoino 描述它更小、更快、覆蓋範圍更廣，似乎解決了許多這些問題。文章也明確指出，QVAC 不僅限於一種翻譯引擎。雖然專用的 NMT 模型是長期目標，但系統目前也能支援基於 LLM 的翻譯。
實用的橋接策略
Ardoino 將其描述為一個實用的橋接策略。如果需要快速推出新的語言對，可以先部署較大的模型，同時並行訓練專用翻譯模型。這樣，用戶可以立即獲得支援，隨著較小模型取代臨時備援，體驗也能逐步改善。
文章中的另一個主題是批次翻譯。Ardoino 表示，當團隊超越示範階段，開始考慮文件、聊天記錄和多句輸入等實際應用時，批次處理變得非常重要。
一次翻譯一句對於簡單界面可能沒問題，但批次處理在實際應用中差異巨大。團隊表示，這使得在大規模運作時的吞吐量提升約 2.5 倍，且每句的延遲明顯改善。
最具雄心的部分是覆蓋範圍。QVAC 不打算為每個可能的語言對建立獨立模型，而是以英語作為樞紐。也就是說，像西班牙語到義大利語的翻譯路徑，可以透過串接西班牙語到英語和英語到義大利語的模型來實現。
在實務層面，這將所需模型數量從龐大的數字大幅降低到更易管理的範圍。Ardoino 建議，支援 26 種語言大約需要 50 個模型，而非 650 個，讓一個廣泛的裝置本地翻譯系統變得更為現實。
他也分享了基準數據，說明這個方法在實際硬體上的重要性。在 Linux 筆記型電腦上，Bergamot 的英語到義大利語模型載入時間約 100 毫秒，且提供高品質的翻譯。
在 Pixel 10 Pro XL 裝置上，模型在裝置上載入時間不到 80 毫秒，並在批次模式下表現尤佳。Ardoino 表示，手機端的結果明顯優於逐句翻譯，批次處理帶來更具反應性的體驗。
展望未來，團隊表示將擴展 Indic 語言的支持，通過 IndicTrans，以及擴展非洲語言的覆蓋範圍，通過 AfriqueGemma，同時也在探索用於即時聊天和字幕生成的串流翻譯。這篇文章的更廣泛訊息是，本地 AI 不一定是妥協。在翻譯方面，至少 Ardoino 認為，小型模型不僅足夠，而且可能更佳。