МЕ Новости, 19 мая (UTC+8), согласно мониторингу 动察 Beating, ByteDance Research официально выпустила в открытый доступ оригинальную универсальную мультимодальную большую модель Lance. Это легкая модель с активными параметрами всего 3 миллиарда, которая одновременно поддерживает понимание, генерацию и редактирование изображений и видео в рамках одного фреймворка. В настоящее время основные универсальные модели сильно зависят от увеличения масштаба параметров или используют архитектуру, основанную на текст-изображение, в то время как Lance реализует путь с очень низкими вычислительными затратами. Команда разработчиков полностью обучила модель с нуля и сократила общий бюджет вычислений за весь цикл обучения до 128 GPU A100. Для решения внутреннего конфликта между разными модальностями и задачами Lance внедрил два жестких архитектурных изоляционных подхода: - Использование гибридной архитектуры экспертов с двойным потоком (MoE) для обработки переплетенных мультимодальных последовательностей, при этом разделяя пути вычислений понимания и генерации, несмотря на совместное использование базового контекста. - Введение модально-осознанного вращающегося позиционного кодирования, которое напрямую уменьшает сигналовые помехи между гетерогенными визуальными токенами изображений и видео. Экстремальное сжатие вычислительных ресурсов не снизило пределы производительности. При всего 3 миллиардах активных параметров Lance показывает лидирующие результаты в большинстве стандартных тестов по генерации и редактированию изображений и видео, превосходя существующие открытые универсальные модели, и реализует низкозатратный путь, сочетающий генерацию и семантическое понимание с малым количеством параметров. (Источник: BlockBeats)

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

Награда
лайк
комментарий
Репост
Поделиться

комментарий

Добавить комментарий

Нет комментариев

Популярные темы
Подробнее
#
MyGateTradeStory
989,26K Популярность
#
USIranTalksPostponed
20,01M Популярность
#
IsraelStrikesIranBTCPlunges
60,06K Популярность
#
PredictWorldCup🇺🇸vs🇵🇾
911,72K Популярность
#
TradFiCFDGoldMaster
1,82M Популярность

Закреплено

Карта сайта

128 карт A100 с нуля обучили! ByteOpen-sourced 3B универсальную мультимодальную модель Lance

Популярные темы

MyGateTradeStory

USIranTalksPostponed

IsraelStrikesIranBTCPlunges

PredictWorldCup🇺🇸vs🇵🇾

TradFiCFDGoldMaster

Закреплено