SQLite AI 打开 WASTE 推理引擎,在 64GB 的 MacBook 上运行 Kimi K3
据 Beating 称,SQLite AI 已开源了 WASTE 推理引擎,使完整的 Kimi K3 模型能够在一台 64GB 的 MacBook Pro 上运行。转换后的模型需要约 1TB 的存储,推理速度为每秒 0.49 到 0.54 个 token。该引擎在不进行蒸馏或剪枝的情况下保留了所有层和专家;将专家权重量化至 3-bit 精度,模型主干使用 4-bit 和 8-bit 量化。
Gate News·07-31 09:53
