Один дуже цікавий відкритий проект AirLLM


Оптимізація використання пам’яті для виведення, щоб 70B велика модель могла працювати на відеокарті з 4G відеопам’яті
Без кількісного зменшення, дистиляції та обрізки.
Запуск 405B Llama3.1 на 8G відеопам’яті
Ще більше хочеться GLM 5.2. Чи не означає це, що моя спільна пам’ять понад 40G також зможе запускати 700+B?
Star🌟 21.3k
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено