Tether 首席执行官 Paolo Ardoino 将焦点转向人工智能的一个截然不同的角落：完全在设备上进行的翻译，而无需将敏感文本发送到云端。
在最近的一篇文章中，Ardoino 将问题围绕隐私、速度和实用性进行框架。他的观点很简单，但涉及到每天有数百万用户遇到的问题。当有人通过云服务翻译医疗笔记、私人消息、法律合同，甚至个人日记条目时，该文本会离开设备，进入他人的基础设施。
在许多情况下，用户并不完全知道数据去向、保留时间或谁可能访问它。Ardoino 认为，这不仅仅是一个理论上的担忧，而是一个真实存在的问题，尤其是在保密性至关重要的使用场景中。
据 Ardoino 说，答案不是依赖越来越大的通用人工智能模型。相反，他认为翻译是那些小型、专用模型可以击败“巨人”的任务之一。
在他看来，如果任务是将一种语言翻译成另一种语言，就没有必要使用一个可以写诗、总结文章和执行十几项无关任务的庞大模型。对于翻译来说，为特定目的构建的专业模型可以更小、更快、更可靠。
优于更大的大型语言模型
Ardoino 指出，通用语言模型在手机和笔记本电脑等边缘设备上的局限性。即使是相对较小的模型，也可能占用大量存储空间，加载时间长，仍然无法为用户提供流畅的体验。
相比之下，专用的神经机器翻译模型可以大大减轻负担，通常只有几十兆字节大小，几毫秒内即可加载，并能更快地产生翻译。在 Ardoino 看来，这种差异不仅仅是技术琐事。它改变了真实用户在真实设备上的可能性。
这种以隐私为先的观点是通过他在帖子中讨论的项目 QVAC 推动的方法的核心。这个想法是让翻译完全本地化，使整个过程在用户的手机、笔记本或嵌入式硬件上完成。不需要云端请求。
没有第三方需要看到文本。对于关心合规性的用户和开发者来说，这也意味着更少的数据处理麻烦、更少的跨境传输担忧和更少的安全问题。Ardoino 还概述了团队如何走到这一步。
他们早期的翻译工作依赖于 Opus-MT 模型，效果不错，但比他们希望的移动端使用的模型更大、更慢。覆盖范围也是一个问题。如果某个语言对尚未支持，训练新模型将需要大量额外工作。
转向 Bergamot 后，他描述其为更小、更快、覆盖范围更广，似乎解决了许多这些问题。帖子还明确表示，QVAC 并不局限于一种翻译引擎。虽然专用的 NMT 模型是长期目标，但系统也可以在此期间支持基于大型模型的翻译。
实用的桥接策略
Ardoino 将其描述为一种实用的桥接策略。如果需要快速部署新的语言对，可以先部署更大的模型，同时并行训练专用翻译模型。这样，用户可以立即获得支持，随着较小模型取代临时备用方案，体验也会逐步改善。
帖子中的另一个主题是批量翻译。Ardoino 表示，一旦团队超越演示阶段，开始考虑文档、聊天记录和多句输入等生产用例，批量处理就变得尤为重要。
一次翻译一句话对于简单界面可能还可以，但在实际应用中，批处理会带来巨大差异。团队表示，规模化后吞吐量大约提高了2.5倍，句子处理的延迟也明显改善。
该提案最雄心勃勃的部分是覆盖范围。QVAC 不试图为每个可能的语言对构建单独的模型，而是以英语为枢纽。这意味着，比如西班牙语到意大利语的翻译路径，可以通过串联西班牙语到英语和英语到意大利语的模型来实现。
在实际操作中，这将所需模型的数量从庞大的数目大大减少到更易管理的数量。Ardoino 建议，支持26种语言大约需要50个模型，而不是650个，从而使广泛的本地翻译系统变得更加现实。
他还分享了基准测试数据，说明为什么这种方法在真实硬件上很重要。在一台 Linux 笔记本电脑上，Bergamot 的英语到意大利语模型加载时间刚刚超过100毫秒，且翻译质量很高。
在一台直接在设备上运行的 Pixel 10 Pro XL 上，模型加载时间不到80毫秒，在批处理模式下表现尤为出色。Ardoino 表示，移动端的结果明显优于顺序翻译，批处理带来了更快的响应体验。
展望未来，团队表示将通过 IndicTrans 扩展到印地语等印度语言，并通过 AfriqueGemma 支持更多非洲语言，同时还在探索直播聊天和字幕生成的流式翻译。帖子传达的更广泛信息是，本地 AI 不必是妥协。在翻译方面，至少，Ardoino 认为更小的模型不仅足够，而且更优。
15.12万 热度
6.84万 热度
1.18亿 热度
117.88万 热度
93.88万 热度
泰特的Paolo Ardoino为小型设备上的翻译模型辩护
Tether 首席执行官 Paolo Ardoino 将焦点转向人工智能的一个截然不同的角落：完全在设备上进行的翻译，而无需将敏感文本发送到云端。
在最近的一篇文章中，Ardoino 将问题围绕隐私、速度和实用性进行框架。他的观点很简单，但涉及到每天有数百万用户遇到的问题。当有人通过云服务翻译医疗笔记、私人消息、法律合同，甚至个人日记条目时，该文本会离开设备，进入他人的基础设施。
在许多情况下，用户并不完全知道数据去向、保留时间或谁可能访问它。Ardoino 认为，这不仅仅是一个理论上的担忧，而是一个真实存在的问题，尤其是在保密性至关重要的使用场景中。
据 Ardoino 说，答案不是依赖越来越大的通用人工智能模型。相反，他认为翻译是那些小型、专用模型可以击败“巨人”的任务之一。
在他看来，如果任务是将一种语言翻译成另一种语言，就没有必要使用一个可以写诗、总结文章和执行十几项无关任务的庞大模型。对于翻译来说，为特定目的构建的专业模型可以更小、更快、更可靠。
优于更大的大型语言模型
Ardoino 指出，通用语言模型在手机和笔记本电脑等边缘设备上的局限性。即使是相对较小的模型，也可能占用大量存储空间，加载时间长，仍然无法为用户提供流畅的体验。
相比之下，专用的神经机器翻译模型可以大大减轻负担，通常只有几十兆字节大小，几毫秒内即可加载，并能更快地产生翻译。在 Ardoino 看来，这种差异不仅仅是技术琐事。它改变了真实用户在真实设备上的可能性。
这种以隐私为先的观点是通过他在帖子中讨论的项目 QVAC 推动的方法的核心。这个想法是让翻译完全本地化，使整个过程在用户的手机、笔记本或嵌入式硬件上完成。不需要云端请求。
没有第三方需要看到文本。对于关心合规性的用户和开发者来说，这也意味着更少的数据处理麻烦、更少的跨境传输担忧和更少的安全问题。Ardoino 还概述了团队如何走到这一步。
他们早期的翻译工作依赖于 Opus-MT 模型，效果不错，但比他们希望的移动端使用的模型更大、更慢。覆盖范围也是一个问题。如果某个语言对尚未支持，训练新模型将需要大量额外工作。
转向 Bergamot 后，他描述其为更小、更快、覆盖范围更广，似乎解决了许多这些问题。帖子还明确表示，QVAC 并不局限于一种翻译引擎。虽然专用的 NMT 模型是长期目标，但系统也可以在此期间支持基于大型模型的翻译。
实用的桥接策略
Ardoino 将其描述为一种实用的桥接策略。如果需要快速部署新的语言对，可以先部署更大的模型，同时并行训练专用翻译模型。这样，用户可以立即获得支持，随着较小模型取代临时备用方案，体验也会逐步改善。
帖子中的另一个主题是批量翻译。Ardoino 表示，一旦团队超越演示阶段，开始考虑文档、聊天记录和多句输入等生产用例，批量处理就变得尤为重要。
一次翻译一句话对于简单界面可能还可以，但在实际应用中，批处理会带来巨大差异。团队表示，规模化后吞吐量大约提高了2.5倍，句子处理的延迟也明显改善。
该提案最雄心勃勃的部分是覆盖范围。QVAC 不试图为每个可能的语言对构建单独的模型，而是以英语为枢纽。这意味着，比如西班牙语到意大利语的翻译路径，可以通过串联西班牙语到英语和英语到意大利语的模型来实现。
在实际操作中，这将所需模型的数量从庞大的数目大大减少到更易管理的数量。Ardoino 建议，支持26种语言大约需要50个模型，而不是650个，从而使广泛的本地翻译系统变得更加现实。
他还分享了基准测试数据，说明为什么这种方法在真实硬件上很重要。在一台 Linux 笔记本电脑上，Bergamot 的英语到意大利语模型加载时间刚刚超过100毫秒，且翻译质量很高。
在一台直接在设备上运行的 Pixel 10 Pro XL 上，模型加载时间不到80毫秒，在批处理模式下表现尤为出色。Ardoino 表示，移动端的结果明显优于顺序翻译，批处理带来了更快的响应体验。
展望未来，团队表示将通过 IndicTrans 扩展到印地语等印度语言，并通过 AfriqueGemma 支持更多非洲语言，同时还在探索直播聊天和字幕生成的流式翻译。帖子传达的更广泛信息是，本地 AI 不必是妥协。在翻译方面，至少，Ardoino 认为更小的模型不仅足够，而且更优。