Розріджена архітектура MoE, 25 мільярдів активних параметрів — економія обчислювальних ресурсів до серця.

Переглянути оригінал
CoinNetwork
Cohere відкритий код Command A+: модель MoE з 218 мільярдами параметрів, орієнтована на корпоративних агентів та суверенітет даних
Cohere офіційно відкрила вихідний код для розподіленої гібридної моделі експертів з 2180 мільярдами параметрів Command A+, що використовує ліцензію Apache 2.0, орієнтовану на корпоративних агентів та приватне розгортання, з акцентом на суверенітет даних та фізичну ізоляцію. Повна модель має 218B, одна активація під час передбачення — 25B; для роботи достатньо двох H100 або одного B200, Hugging Face пропонує версії з низькою точністю, такі як W4A4. Command A+ підтримує нативний мультимодальний ввід, контекст до 128K, довжину виходу до 64K, призначений для складних передбачень, викликів автономних інструментів, запитів до баз даних та робочих процесів із довгими документами, підтримує 48 мов (у тому числі офіційні мови ЄС).
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено