A Microsoft lança código aberto para o modelo de incorporação de texto Harrier de três camadas, versão 27B, alcançando o topo da tabela multilíngue MTEB v2

Notícias do Jiebie.com: de acordo com o monitorização da 1M AI News, a Microsoft lançou e disponibilizou em código aberto no Hugging Face a família de modelos de incorporação de texto multilingue harrier-oss-v1, que inclui três escalões: 270M, 0,6B e 27B. O cartão do modelo indica que esta série utiliza uma arquitetura apenas com decoder, last-token pooling e normalização L2; suporta até 32768 tokens e pode ser usada para recuperação, clustering, similaridade semântica, classificação, mineração bilíngue e reordenação.

O Multilingual MTEB v2 é um benchmark multilingue de incorporação de texto amplamente utilizado no sector, testando principalmente tarefas como recuperação, classificação, clustering e similaridade semântica. O cartão do modelo da Microsoft afirma que, nesse benchmark, as pontuações dos três escalões são 66,5, 69,0 e 74,3, sendo que a versão de 27B chegou ao primeiro lugar no dia do lançamento. As versões de 270M e 0,6B também recorrem adicionalmente a um modelo de incorporação maior para fazer destilação de conhecimento. Os três modelos foram disponibilizados sob a licença MIT.