Я только что увидел, что Intel разместила на Hugging Face квантованные версии моделей Wan 2.2 для видео от Alibaba в INT4. Это довольно интересно с точки зрения оптимизации моделей.

В основном, Intel удалось значительно уменьшить размер весов каждой модели. Каждый вес, занимавший 2 байта в BF16, теперь занимает всего 0,5 байта после квантования в INT4. Это означает, что общий размер сокращается примерно в четыре раза по сравнению с оригиналом. Используемым инструментом была AutoRound.

Опубликованы три модели: T2V-A14B (текст в видео), I2V-A14B (изображение в видео) и TI2V-5B (гибридный вход текста и изображения). Оригинальные модели A14B работают на архитектуре MoE с 27 миллиардами параметров, из которых 14 миллиардов активируются за шаг. Без квантования INT4 они требуют как минимум 80 ГБ VRAM на GPU только для работы с разрешением 720p.

Самым практичным является TI2V-5B, плотная модель, которая способна обрабатывать 720p при 24fps на GPU 4090 даже в исходной форме. Представьте, что будет с оптимизацией INT4.

Важный момент — Intel еще не опубликовала полные бенчмарки по потреблению VRAM или качеству изображения после квантования в INT4. Всё будет зависеть от проверки сторонних источников. Для тех, кто хочет протестировать, Intel рекомендует ветку vllm-omni как вариант внедрения, так как эти модели не работают в основном пайплайне vLLM.

Это тот тип оптимизации, который делает эти видео-модели гораздо более доступными для тех, у кого нет передового оборудования.