ME News Новости, 16 мая (UTC+8), исследователи представили Δ-Mem, эффективную онлайн-систему памяти, разработанную специально для крупных языковых моделей. Эта система значительно снижает использование памяти, храня только инкрементальные изменения активаций модели вместо полного состояния активаций. Эксперименты показали, что Δ-Mem может уменьшить использование памяти до 70%, при этом качество вывода модели остается практически без потерь. Этот метод способствует развертыванию и работе масштабных языковых моделей в условиях ограниченных ресурсов, повышая их возможность онлайн-вывода и непрерывного обучения. (Источник: AiHot)

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

12 Лайков

Награда
12
10
2
Поделиться

комментарий

Добавить комментарий

DeltaSmile

· 1ч назад

Качество вывода без потерь — это самое важное, многие схемы сжатия жертвуют слишком много точностью.

Посмотреть ОригиналОтветить0

PickingUpAirdropsInTheFog

· 6ч назад

Повышение способности к постоянному обучению недооценивается, это важно для персонализированных моделей.

Посмотреть ОригиналОтветить0

InvisibleMarketMaker

· 6ч назад

70% снижение памяти действительно впечатляющее, но в онлайн-сценариях увеличение затрат на вычисления при инкрементальном обновлении не станет ли новым узким местом?

Посмотреть ОригиналОтветить0

ColdStartUnderTheAurora

· 6ч назад

Наконец-то кто-то серьезно занимается решением проблемы памяти LLM, ожидаю дальнейших работ.

Посмотреть ОригиналОтветить0

HotAirBalloonCrossingMountains

· 6ч назад

Чувство и разреженное внимание можно использовать вместе, двойное сжатие.

Посмотреть ОригиналОтветить0

PettyLp

· 6ч назад

Онлайн-системы памяти очень точно определены, заполняя пробелы в стадии вывода.

Посмотреть ОригиналОтветить0

CheckTheBlockchainBefore

· 6ч назад

Какова совместимость методов эффективной настройки параметров, таких как LoRA и другие, с методами типа Curious.

Посмотреть ОригиналОтветить0

ProtocolPaladin

· 6ч назад

Если эта область станет открытым исходным кодом, сообщество сможет придумать множество вариантов.

Посмотреть ОригиналОтветить0

PerpPessimist

· 6ч назад

Какой набор данных используется для экспериментов? GLUE или более сложные задачи по дедуктивному мышлению.

Посмотреть ОригиналОтветить0

TokenomicsMechanic

· 6ч назад

70% — это максимум или среднее значение? Значительно ли различаются показатели при разной масштабности моделей?

Посмотреть ОригиналОтветить0

Подробнее

Популярные темы
Подробнее
#
IntroducingGateStocks
34.48M Популярность
#
WinGoldBarsWithGrowthPoints
1.24M Популярность
#
IsraelStrikesIranBTCPlunges
51.69K Популярность
#
StockTradingChallengeUpTo17000U
217.57K Популярность
#
USIranNegotiationGame
9.36M Популярность

Закреплено

Карта сайта

Δ-Mem：Эффективная онлайн-память для больших языковых моделей

Популярные темы

IntroducingGateStocks

WinGoldBarsWithGrowthPoints

IsraelStrikesIranBTCPlunges

StockTradingChallengeUpTo17000U

USIranNegotiationGame

Закреплено