Qwen 3.6 27B Dense модель досягає 40 токенів/с на RTX 3090

robot
Генерація анотацій у процесі

AIMPACT повідомлення, 24 квітня (UTC+8), 24 квітня 2026 року, користувач @sudoingX опублікував попередні результати тестування: модель Qwen 3.6 27B Dense на одній карті RTX 3090 24GB з швидкістю 40 токенів/с пройшла тест 10/10. Цей результат не використовував техніки кількісного зменшення або об’єднання ядер, а лише застосував пряме кількісне перетворення llama.cpp Q4_K_M. Користувач також створив базовий тест на групу частинок для оцінки моделі. (Джерело: InFoQ)

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріпити