Паула Ардойно из Tether выдвигает аргументы в пользу небольших моделей перевода на устройстве

Генеральный директор Tether Паоло Ардойно обратил внимание на совершенно другой аспект искусственного интеллекта: перевод, который полностью осуществляется на устройстве, без отправки чувствительного текста в облако.

В недавнем посте Ардойно сформулировал проблему вокруг конфиденциальности, скорости и практичности. Его мысль была достаточно проста, но она затрагивает проблему, с которой сталкиваются миллионы пользователей каждый день. Когда кто-то переводит медицинскую заметку, личное сообщение, юридический контракт или даже личный дневник через облачный сервис, этот текст покидает устройство и попадает в инфраструктуру другого человека.

Во многих случаях пользователи не полностью знают, куда уходит их данные, как долго они хранятся или кто может иметь к ним доступ. Ардойно утверждал, что это не только теоретическая проблема, но и реальная, особенно в случаях, когда важна конфиденциальность.

По словам Ардойно, ответ не в том, чтобы полагаться на все более крупные и универсальные модели ИИ. Вместо этого он заявил, что перевод — одна из тех задач, где небольшие, специализированные модели могут превзойти «Голиафа».

По его мнению, если задача — перевод одного языка на другой, нет необходимости использовать огромную модель, которая также может писать стихи, подытоживать статьи и выполнять десятки несвязанных задач. Для перевода специализированная модель, созданная для одной цели, может быть меньшей, быстрее и более надежной.

Преимущество перед крупными LLM

Ардойно указал на ограничения универсальных языковых моделей на устройствах на грани, таких как телефоны и ноутбуки. Даже относительно небольшие модели могут занимать значительный объем памяти, долго загружаться и всё равно работать слишком медленно для плавного пользовательского опыта.

В отличие от этого, специализированные модели нейронного машинного перевода могут быть значительно легче, зачастую всего несколько десятков мегабайт в размере, загружаться за миллисекунды и обеспечивать переводы гораздо быстрее. По словам Ардойно, эта разница — не просто техническая мелочь. Она меняет возможности для реальных пользователей на реальных устройствах.

Этот аргумент, ориентированный на конфиденциальность, лежит в основе подхода, продвигаемого через QVAC, проект, о котором он говорил в посте. Идея заключается в том, чтобы сделать перевод полностью локальным, чтобы весь процесс происходил на телефоне, ноутбуке или встроенном оборудовании пользователя. Запрос в облако не нужен.

Никакая третья сторона не должна видеть текст. Для пользователей и разработчиков, заботящихся о соблюдении правил, это также означает меньше головной боли с обработкой данных, меньше вопросов о трансграничных передачах и меньшую опасность утечек. Ардойно также рассказал, как команда пришла к этому решению.

Их ранние попытки перевода основывались на моделях Opus-MT, которые работали, но были больше и медленнее, чем хотелось бы для мобильного использования. Еще одной проблемой была охватность. Если пара языков еще не была доступна, обучение новой модели требовало бы значительных дополнительных усилий.

Переход на Bergamot, который он описал как меньший, более быстрый и с более широким охватом,