Проблема памяти при онлайн-выводе наконец-то решена, приём инкрементного хранения напомнил мне git diff, использует разницу в информации для экономии места — гениально.

Посмотреть Оригинал
MeNews
Δ-Mem:Эффективная онлайн-память для больших языковых моделей
Исследование предложило Δ-Mem — онлайн-систему памяти для крупных языковых моделей. За счет хранения только инкрементальных изменений активации и отказа от полного состояния активации, значительно снижается использование памяти. Эксперименты показали, что объем памяти можно снизить до 70%, при этом качество вывода практически не страдает, что повышает возможности онлайн-вычислений и постоянного обучения в условиях ограниченных ресурсов.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено