Microsoft відкриває вихідний код трьох версій моделей вбудовування тексту Harrier, версія 27B посідає перше місце у багатомовному MTEB v2

Згідно з моніторингом 1M AI News, Microsoft відкрила вихідний код сімейства багатомовної моделі текстових векторних вкладень harrier-oss-v1 на Hugging Face, яке включає три версії: 270M, 0.6B і 27B. У картці моделі вказано, що ця серія використовує архітектуру лише з декодером, пулінг за останнім токеном і L2-нормалізацію, підтримуючи максимум 32,768 токенів. Її можна використовувати для пошуку (retrieval), кластеризації, семантичної подібності, класифікації, білінгвального майнінгу та перестановки (reordering). Multilingual MTEB v2 — це широко використовуваний у галузі бенчмарк для багатомовних текстових векторних вкладень, який в основному тестує такі задачі, як пошук, класифікація, кластеризація та семантична подібність. Згідно з карткою моделі від Microsoft, показники трьох версій на цьому бенчмарку становлять 66.5, 69.0 і 74.3, причому версія 27B посіла перше місце того ж дня, коли її випустили. Версії 270M і 0.6B також використовують більші моделі векторних вкладень для дистиляції знань, а всі три моделі випущені під ліцензією MIT.