2026-11-19 11:10:59
中古のNVIDIA V100を3基搭載した1,042ドルのホームラボ環境が、Qwen 3.6 35Bで毎秒100トークンを達成し、5,399ドルのM5 Max搭載Mac Studioを上回る
Tom's Hardwareによると、あるホームラボ構築者が最近、カスタム構成で中古のエヌビディア製V100 GPUを3基使用し、総額1,042ドルでQwen 3.6 35Bを動作させ、毎秒100.8トークンの処理速度を実現した。この旧世代GPUを使った構成は、40コアGPUと128GBのメモリを搭載し、価格が5,399ドルのApple M5 Max Mac Studioを、コンテキスト長が大きい場合に上回った。コンテキスト長128Kでは毎秒72.7トークンを処理したのに対し、Macは毎秒61.3トークンだった。構築者は、複数のコンテキスト長(4K~128K)と量子化レベルでllama.cppを使ってこの構成をテストし、V100クラスターの消費電力は、同等のP100ベースのシステムのおよそ半分だった。