ME Новини повідомляють, 19 травня (UTC+8), згідно з моніторингом 动察 Beating, ByteDance Research офіційно відкрила вихідний код для первинної єдиної мультимодальної великої моделі Lance. Це легка модель з активними параметрами всього 3B, яка одночасно підтримує розуміння, генерацію та редагування зображень і відео в рамках однієї платформи. На даний момент провідні єдині моделі сильно залежать від збільшення кількості параметрів або використання архітектури генеративних моделей, тоді як Lance пройшов шлях з дуже низькими обчислювальними ресурсами. Команда розробників навчила модель з нуля і знизила загальний обчислювальний бюджет всього за один цикл тренування до 128 GPU A100. Щоб вирішити внутрішні конфлікти між різними модальностями та задачами, Lance зробив дві жорсткі архітектурні ізоляції: - Використання двопотокової гібридної архітектури експертів (MoE) для обробки переплетених мультимодальних послідовностей, при цьому розділяючи шляхи обчислень для розуміння та генерації, зберігаючи спільний базовий контекст. - Введення модальностезалежного позиційного кодування з обертанням, що безпосередньо зменшує сигналові перешкоди між гетерогенними візуальними токенами зображень і відео. Екстремальне зменшення обчислювальних ресурсів не знизило межу продуктивності. При всьому цьому, з активними параметрами всього 3B, Lance демонструє лідерство у більшості бенчмарків щодо генерації та редагування зображень і відео, використовуючи низькозатратний шлях, що поєднує багатозадачність, генерацію та семантичне розуміння. (Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

Нагородити
подобається
Прокоментувати
Репост
Поділіться

Прокоментувати

Додати коментар

Немає коментарів

Популярні теми
Дізнатися більше
#
MyGateTradeStory
999,27K Популярність
#
USIranTalksPostponed
20,11M Популярність
#
IsraelStrikesIranBTCPlunges
60,22K Популярність
#
PredictWorldCup🇺🇸vs🇵🇾
912,81K Популярність
#
TradFiCFDGoldMaster
1,83M Популярність

Закріплено

карта сайту

128 карт A100 з нуля навчено! Відкритий код Byte для універсальної мультимодальної моделі Lance 3B

Популярні теми

MyGateTradeStory

USIranTalksPostponed

IsraelStrikesIranBTCPlunges

PredictWorldCup🇺🇸vs🇵🇾

TradFiCFDGoldMaster

Закріплено