2026-11-19 11:10:59
三张二手英伟达 V100 显卡在一套 1,042 美元的家庭实验室配置中运行 Qwen 3.6 35B,达到每秒 100 个词元,性能超越售价 5,399 美元的 M5 Max Mac Studio
据 Tom's Hardware 报道,一位家庭实验室搭建者最近用三块二手英伟达 V100 GPU 搭建了一套自定义配置,运行 Qwen 3.6 350 亿参数模型,吞吐量达到每秒 100.8 个词元,整套配置耗资 1,042 美元。在较长上下文长度下,这套由已退役 GPU 组成的配置性能超过了售价 5,399 美元、配备 40 核 GPU 和 128GB 内存的 Apple M5 Max Mac Studio:在 12.8 万上下文长度下,前者达到每秒 72.7 个词元,而 Mac 的速度为每秒 61.3 个词元。搭建者使用 llama.cpp 测试了这套配置,测试范围涵盖多种上下文长度(4 千至 12.8 万)和量化等级;该 V100 集群的能耗约为同等 P100 系统的一半。