Δ-Mem:ефективна онлайн-пам’ять для великих мовних моделей

robot
Генерація анотацій у процесі
ME News Новини, 16 травня (UTC+8), дослідники запропонували Δ-Mem, ефективну онлайн-систему пам’яті, спеціально розроблену для великих мовних моделей. Ця система зменшує споживання пам’яті, зберігаючи лише інкрементальні зміни активізації моделі, а не повний стан активізації. Експерименти показали, що Δ-Mem може зменшити використання пам’яті до 70%, при цьому майже не погіршуючи якість вихідних даних моделі. Цей метод сприяє розгортанню та запуску масштабних мовних моделей у ресурсозалежних середовищах, підвищуючи їхню можливість для онлайн-розрахунків та безперервного навчання. (Джерело: AiHot)
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 6
  • 1
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
VineGeometry
· 1год тому
Де можна подивитися експериментальні дані? Хочу побачити втрати на конкретному завданні.
Переглянути оригіналвідповісти на0
AirdropMileCounter
· 1год тому
Δ-Mem + кількісне представлення, чи може це довести використання відеопам’яті до межі
Переглянути оригіналвідповісти на0
YieldSpring
· 1год тому
Ідея з інкрементальним збереженням дуже геніальна, вона нагадує людський мозок, який запам'ятовує лише змінені частини.
Переглянути оригіналвідповісти на0
DegenLibrarian
· 1год тому
Чи може виникнути проблема накопичення похибок у сценаріях безперервного навчання?
Переглянути оригіналвідповісти на0
PineLiquidityPool
· 1год тому
Якщо це інтегрувати до vLLM, пропускна здатність значно зросте
Переглянути оригіналвідповісти на0
QuantitativeButNotPretentious
· 1год тому
70% зниження пам’яті — це надзвичайно круто, крайові пристрої нарешті зможуть запускати великі моделі
Переглянути оригіналвідповісти на0
  • Закріплено