Δ-Mem Эта идея очень гениальна, хранит только инкременты, а не полные данные, экономия 70% памяти при сохранении качества, сценарии с ограниченными ресурсами наконец-то спасены.

Исследование предложило Δ-Mem — онлайн-систему памяти для больших языковых моделей.
Она хранит только инкрементальные изменения активации, обновляя их и отказываясь от полного состояния активации, что значительно снижает использование памяти.
Эксперименты показали, что объем памяти можно снизить до 70%, при этом качество вывода практически не страдает, что повышает возможности онлайн-вывода и непрерывного обучения в условиях ограниченных ресурсов.