Один очень интересный проект с открытым исходным кодом AirLLM


Оптимизация использования памяти при выводе, позволяющая запускать большую модель 70B на видеокарте с всего 4 ГБ видеопамяти
Без квантования, дистилляции и обрезки.
Запуск 405B Llama3.1 на 8 ГБ видеопамяти
Больше хочется GLM 5.2. Неужели моя общая видеопамять более 40 ГБ тоже сможет запускать 700+B?
Star🌟 21.3k
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено