МЕ Новини повідомляє, 19 травня (UTC+8), згідно з моніторингом 动察 Beating, ByteDance Research офіційно відкрила вихідний код для нативної єдиної мультимодальної великої моделі Lance. Це легка модель з активними параметрами всього 3B, яка одночасно підтримує розуміння, генерацію та редагування зображень і відео в рамках однієї платформи. На даний час провідні єдині моделі сильно залежать від збільшення кількості параметрів або використання архітектури генерації тексту та зображень, тоді як Lance пройшла шлях з дуже низькими обчислювальними ресурсами. Команда розробників навчила модель з нуля і знизила загальний обчислювальний бюджет всього за один цикл тренування до 128 GPU A100. Щоб вирішити внутрішні конфлікти між різними модальностями та задачами, Lance зробила дві жорсткі ізоляції в архітектурі: - Використання двопотокової гібридної експертної архітектури (MoE) для обробки переплетених мультимодальних послідовностей, яка при цьому розділяє шляхи обчислень для розуміння та генерації, одночасно спільно використовуючи базовий контекст. - Введення модальностезалежного позиційного кодування з обертанням, що безпосередньо зменшує сигналові перешкоди між гетерогенними візуальними токенами зображень і відео. Екстремальне зменшення обчислювальних ресурсів не знизило межу продуктивності. При всього 3B активних параметрах Lance демонструє лідерство у більшості бенчмарків щодо генерації та редагування зображень і відео, обганяючи існуючі відкриті єдині моделі, і через мультизадачну співпрацю довела можливість досягнення низької вартості при одночасному балансуванні генерації та семантичного розуміння. (Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

Нагородити
подобається
Прокоментувати
Репост
Поділіться

Прокоментувати

Додати коментар

Немає коментарів

Популярні теми
Дізнатися більше
#
MyGateTradeStory
975,56K Популярність
#
USIranTalksPostponed
1,89M Популярність
#
IsraelStrikesIranBTCPlunges
59,9K Популярність
#
PredictWorldCup🇺🇸vs🇵🇾
910,54K Популярність
#
TradFiCFDGoldMaster
1,82M Популярність

Закріплено

карта сайту

128 карт A100 з нуля навчено! Відкритий код Byte для універсальної мультимодальної моделі Lance 3B

Популярні теми

MyGateTradeStory

USIranTalksPostponed

IsraelStrikesIranBTCPlunges

PredictWorldCup🇺🇸vs🇵🇾

TradFiCFDGoldMaster

Закріплено