Les modèles de langage à niveau d'octet (LLM) ont enfin fait des progrès sérieux, avec 1,7 milliard pouvant approcher la performance de segmentation, la guerre des vocabulaires pourrait devenir obsolète.

Les travaux de Nous Research indiquent que la dépendance à long terme des grands modèles de langage aux tokenizers pourrait être remplacée à l'avenir.
Les tests contrôlés avec 1,7 milliards de paramètres montrent que les bénéfices du mécanisme de segmentation peuvent être simulés au niveau brut des octets par des moyens d'ingénierie.
Les expériences démontrent qu'en améliorant le débit dans un modèle natif basé sur les octets et en injectant des frontières morphologiques, on peut réduire significativement l'écart avec un modèle de segmentation ;
Avec la même puissance de calcul, la simulation de compression augmente la quantité de traitement par étape de gradient, devenant la principale source de contribution.
En superposant des frontières de sous-mots sur les octets d'entrée, un biais d'induction à long terme qui ne divulgue pas d'informations futures a été établi.
Bien que l'effet de synergie avec un plus grand nombre de paramètres reste à vérifier, avec 1,7 milliards, les bénéfices liés à la taille du vocabulaire et à la prédiction du sous-mot suivant sont limités.
Cela offre une voie pour des grands modèles sans segmentation, en se concentrant à l'avenir sur l'augmentation du débit et l'intégration explicite de préjugés morphologiques de manière non divulguée.