Павло Ардойно з Tether обґрунтовує переваги малих моделей перекладу на пристрої

Генеральний директор Tether Паоло Ардойно звернув увагу на зовсім інший аспект штучного інтелекту: переклад, який відбувається цілком на пристрої, без відправлення чутливого тексту в хмару.

У недавньому дописі Ардойно окреслив проблему з точки зору конфіденційності, швидкості та практичності. Його думка була досить простою, але вона торкається проблеми, з якою стикаються мільйони користувачів щодня. Коли хтось перекладає медичну записку, приватне повідомлення, юридичний контракт або навіть особистий щоденник через хмарний сервіс, цей текст залишає пристрій і потрапляє до інфраструктури іншої особи.

У багатьох випадках користувачі не повністю знають, куди йде їхні дані, скільки вони зберігаються або хто може мати до них доступ. Ардойно стверджував, що це не лише теоретична проблема, а реальна, особливо у випадках, коли важлива конфіденційність.

За словами Ардойно, відповідь полягає не у використанні все більших і більших універсальних моделей штучного інтелекту. Замість цього він вважав, що переклад — одна з тих задач, де маленькі, спеціалізовані моделі можуть перевершити “Голіафа”.

На його думку, якщо завдання полягає у перекладі однієї мови на іншу, немає потреби використовувати величезну модель, яка може також писати вірші, підсумовувати статті та виконувати десятки інших несуміжних завдань. Для перекладу спеціалізована модель, створена для однієї мети, може бути меншою, швидшою і більш надійною.

Переважаючи великі LLM

Ардойно звернув увагу на обмеження універсальних мовних моделей на пристроях, таких як телефони та ноутбуки. Навіть відносно невеликі моделі можуть займати значний обсяг пам’яті, довго завантажуватися і все ще працювати занадто повільно для плавного користувацького досвіду.

На відміну від них, спеціалізовані нейронні моделі машинного перекладу можуть бути значно легшими, часто всього кілька десятків мегабайтів у розмірі, завантажуватися за мілісекунди і забезпечувати переклад набагато швидше. За словами Ардойно, ця різниця — не просто технічна дрібниця. Вона змінює можливості для реальних користувачів на реальних пристроях.

Цей аргумент, орієнтований на конфіденційність, лежить у центрі підходу, який просувається через проект QVAC, про який він говорив у дописі. Ідея полягає у тому, щоб зробити переклад цілком локальним, щоб весь процес відбувався на телефоні, ноутбуці або вбудованому обладнанні користувача. Запит у хмару не потрібен.

Жодна третя сторона не повинна бачити текст. Для користувачів і розробників, які стурбовані відповідністю, це також означає менше проблем із обробкою даних, менше питань щодо трансграничних передач і менше питань безпеки. Ардойно також описав, як команда дійшла до цього напрямку.

Їхні попередні зусилля з перекладу базувалися на моделях Opus-MT, які працювали, але були більшими і повільнішими, ніж вони хотіли для мобільного використання. Ще однією проблемою була покриття. Якщо пара мов ще не була доступною, навчання нової моделі вимагало б значних додаткових зусиль.

Перехід на Bergamot, яку він описав як меншу, швидшу і широку за покриттям,