Microsoft открыла исходный код трех версий моделей векторных представлений текста Harrier, версия 27B занимает первое место в мультиязыковом MTEB v2

Согласно мониторингу 1M AI News, Microsoft опубликовала с открытым исходным кодом семейство многоязычных текстовых моделей встраивания harrier-oss-v1 на Hugging Face, которое включает три версии: 270M, 0.6B и 27B. В карточке модели указано, что эта серия использует архитектуру только декодера, пулинг по последнему токену и L2-нормализацию, поддерживая максимум 32,768 токенов. Ее можно использовать для извлечения, кластеризации, семантического сходства, классификации, двуязычной добычи и переупорядочивания. Multilingual MTEB v2 — широко используемый бенчмарк для многоязычных текстовых встраиваний в отрасли, в первую очередь проверяющий такие задачи, как извлечение, классификация, кластеризация и семантическое сходство. Согласно карточке модели Microsoft, результаты для трех версий на этом бенчмарке составляют 66.5, 69.0 и 74.3, при этом версия 27B заняла первое место в день своего релиза. Версии 270M и 0.6B также используют более крупные модели встраиваний для дистилляции знаний, и все три модели выпущены по лицензии MIT.