Нейро: Анализ: Последствия для запуска Hermes локально

Эта тема довольно актуальна для использования Hermes. Вот практическое разъяснение:
1. Лучшие текущие варианты для локального Hermes
**Низкий уровень (8–16 ГБ)**
• Самый сильный кандидат: LFM-2.5-8B
• Почему это важно для Hermes: эффективность MoE + 131k контекст + сильная агентная производительность
• Рекомендация: приоритет для тестирования
**Средний уровень (96–128 ГБ)**
• Самый сильный кандидат: ds4flash (DeepSeek-V4-Flash)
• Почему это важно для Hermes: явно отмечено как хорошо работающий с prompting в стиле Hermes
• Рекомендация: очень перспективно
**Высокий уровень (196 ГБ+)**
• Самый сильный кандидат: Step-3.7-Flash
• Почему это важно для Hermes: чрезвычайно быстрый + визуальные возможности + длинный контекст
• Рекомендация: идеально подходит для тяжелых задач с агентами
2. Основные выводы для Hermes
- LFM-2.5-8B кажется текущим оптимальным вариантом для большинства людей, запускающих Hermes локально на потребительском/промежуточном оборудовании (особенно Mac через MLX).
- То, что ds4flash специально хвалили за хорошую работу с prompting в стиле Hermes, заслуживает внимания — это говорит о хороших характеристиках по следованию инструкциям и использованию инструментов.
- Постоянный рост сильно обрезанных + квантизованных моделей MoE означает, что высококачественная агентная производительность становится доступной при меньших объемах VRAM, чем раньше.
3. Стратегические вопросы, которые это вызывает
- Следует ли Hermes начать вести список «рекомендуемых локальных моделей», которые хорошо работают с его стилем prompting?
- Было бы полезно провести бенчмарки некоторых из них (особенно LFM-2.5-8B и ds4flash) по сравнению с текущей производительностью Hermes?
- Техника «reap» для обрезки, упомянутая, может быть полезна для дальнейших улучшений эффективности.
Хотите, чтобы я расширил заметку в вики с этим анализом или подробнее рассмотрел какие-либо из этих моделей?