Разреженная архитектура MoE, 25 миллиардов активных параметров — экономия вычислительных ресурсов ощущается в каждом аспекте

Cohere официально открыл исходный код модели разреженного гибридного эксперта Command A+ с 218 миллиардов параметров, использующую лицензию Apache 2.0, ориентированную на корпоративных агентов и приватное развертывание, с акцентом на суверенитет данных и физическую изоляцию. Полный объем 218B, активируется 25B при одном выводе; работает на двух H100 или одной B200, Hugging Face предоставляет версии с низкой точностью, такие как W4A4. Command A+ изначально поддерживает мультимодальный ввод, 128K контекстных данных для входа, 64K длина вывода, предназначен для сложных задач вывода, вызова автономных инструментов, запросов к базам данных и рабочих процессов с длинными документами, поддерживает 48 языков (включая официальные языки ЕС).