在將語言模型部署到現實場景中時，硬體和性能的取捨與純粹的能力同樣重要。

OSS120B 提供了令人印象深刻的本地推理能力，但代價也不小——你大約需要 120GB 的 RAM 才能順利運行。這並不算便攜。OSS20B 在大多數用例中都能找到理想的平衡點；你可以獲得穩定的性能，而不必在地下室建個數據中心。

Mistral-7B 非常適合對話任務，雖然在文件定位方面表現不佳，並且如果你提供它未經訓練的資訊，它往往會產生幻覺。說實話？與同尺寸的較新開源替代品相比，它感覺有點令人失望。生態系統發展迅速，一些較新的玩家做得更好。

真正的教訓是：大小並非一切。上下文、訓練數據的質量以及實用效率比你想像中更重要。