ME News Новости, 16 мая (UTC+8), исследователи представили Δ-Mem, эффективную онлайн-систему памяти, разработанную специально для крупных языковых моделей. Эта система значительно снижает использование памяти, храня только инкрементальные изменения активаций модели и обновляя их, а не полное состояние активаций. Эксперименты показали, что Δ-Mem может уменьшить использование памяти до 70%, при этом качество вывода модели остается практически без потерь. Этот метод способствует развертыванию и работе масштабных языковых моделей в условиях ограниченных ресурсов, повышая их возможность онлайн-вывода и непрерывного обучения. (Источник: AiHot)

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

6 Лайков

Награда
6
6
1
Поделиться

комментарий

Добавить комментарий

VineGeometry

· 5ч назад

Где можно посмотреть экспериментальные данные? Хочу увидеть потери на конкретных задачах.

Посмотреть ОригиналОтветить0

AirdropMileCounter

· 5ч назад

Δ-Mem + квантование — разве это не может довести использование видеопамяти до предела

Посмотреть ОригиналОтветить0

YieldSpring

· 5ч назад

Идея инкрементального хранения очень умная, она немного напоминает человеческий мозг, который запоминает только изменения.

Посмотреть ОригиналОтветить0

DegenLibrarian

· 5ч назад

В сценариях постоянного обучения возникает ли проблема накопленных ошибок?

Посмотреть ОригиналОтветить0

PineLiquidityPool

· 5ч назад

Если интегрировать это в vLLM, пропускная способность взлетит до небес

Посмотреть ОригиналОтветить0

QuantitativeButNotPretentious

· 5ч назад

70% снижение использования памяти — это так круто, что наконец-то периферийные устройства смогут запускать большие модели

Посмотреть ОригиналОтветить0

Популярные темы
Подробнее
#
WinGoldBarsWithGrowthPoints
1.25M Популярность
#
WTICrudeFallsBelow90Dollars
1.57M Популярность
#
IsraelStrikesIranBTCPlunges
51.65K Популярность
#
StockTradingChallengeUpTo17000U
213.3K Популярность
#
USIranNegotiationGame
9.36M Популярность

Закреплено

Карта сайта

Δ-Mem：Эффективная онлайн-память для больших языковых моделей

Популярные темы

WinGoldBarsWithGrowthPoints

WTICrudeFallsBelow90Dollars

IsraelStrikesIranBTCPlunges

StockTradingChallengeUpTo17000U

USIranNegotiationGame

Закреплено