Когда речь заходит о развертывании языковых моделей в реальных сценариях, аппаратные ресурсы и баланс производительности важны не меньше, чем сырая мощность.

OSS120B обеспечивает впечатляющее локальное рассуждение, но стоит он дорого — для его плавной работы требуется примерно 120 ГБ оперативной памяти. Это не очень портативно. OSS20B достигает оптимального баланса для большинства случаев использования; вы получаете стабильную производительность без необходимости иметь дата-центр у себя в подвале.

Mistral-7B отлично подходит для диалоговых задач, хотя у него возникают трудности с основанием документов и склонностью к галлюцинациям, если ему подают информацию, на которой он явно не обучался. Llama, честно? Он кажется менее впечатляющим по сравнению с новыми открытыми альтернативами аналогичных размеров. Экосистема развивается быстро, и некоторые новые игроки делают это лучше.

Настоящий урок: размер не всё. Контекст, качество обучающих данных и практическая эффективность важнее, чем кажется.