Tencent запустила квантизовану модель Hy3 із 295 мільярдами параметрів, яку можна розгорнути на одному GPU
Нещодавно Tencent Hunyuan випустила квантизовані версії своєї моделі Hy3 у відповідь на запити спільноти, що дозволяє моделі на 295 мільярдів параметрів працювати на одному GPU для інференсу або навіть на локальних машинах за наявності достатнього обсягу пам’яті. Команда квантизувала ваги Hy3 до точності 1-біт і 4-біт, упакувала їх у форматі GGUF та інтегрувала в екосистему llama.cpp, завдяки чому те, що раніше потребувало багатьох GPU-кластерів, тепер доступне для ширшого спектра сценаріїв розг
TENCENT+1,58%
GateNews·07-14 09:10
