Explosion à NeurIPS ! SentientAGI a porté le "code de sécurité" du grand modèle sur la scène principale, 24 000 empreintes digitales soudées au modèle sans qu'il ne flippe.

@SentientAGI a directement fait son entrée dans la piste principale des papiers de NeurIPS avec OML 1.0 - ce n'est pas un poster pour faire nombre, ni un atelier marginal, c'est bien la piste principale ! Cette manœuvre a directement propulsé la technique de "tagging" des grands modèles à un nouveau niveau.

En termes simples, ce que cet article intitulé « Scalable Fingerprinting for LLMs » fait, c'est de coller des « tatouages anti-contrefaçon invisibles » sur les grands modèles, et pas juste un ou deux, mais des dizaines de milliers, et ils ne peuvent absolument pas être enlevés ! Les précédents schémas de fingerprinting pour modèles étaient comme des autocollants de mauvaise qualité : après avoir intégré quelques clés, ils commençaient à « se mélanger », la performance du modèle chutait brutalement, et après quelques lavages, c'était fini, c'était un véritable désastre pour les modèles open source. Mais OML 1.0 a trouvé une nouvelle astuce — en utilisant le « Perinucleus Sampling (échantillonnage inverse du noyau) » pour insérer le fingerprint dans la « zone périphérique » du modèle, ce qui n'affecte pas la sortie du modèle tout en permettant de conserver des milliers de « codes de vérification » stables, c'est incroyable !

Ce qui est encore plus incroyable, c'est qu'ils ont durement intégré 24 576 empreintes digitales dans Llama-3.1-8B, et la performance du modèle n'a presque pas changé ! Même si vous faites du SFT avec le modèle, de la distillation, ou même si vous mélangez plusieurs modèles pour les "hybrider", ces empreintes digitales restent aussi solides qu'un roc, impossible à éliminer.

✅ La véracité se vérifie d'un coup d'œil, fini d'avoir peur des "modèles Li Gui"
✅ Bien caché, on ne sent rien quand on l'utilise.
✅ Performance sans perte, le modèle est toujours aussi puissant.
✅ Vous pouvez intégrer autant que vous le souhaitez, l'échelle est directement maximisée.

Ce n'est pas une innovation technologique, c'est tout simplement une "route vers le ciel" pour la commercialisation des modèles open source - à partir de maintenant, de quel modèle il s'agit, s'il a été altéré ou non, il suffit de jeter un œil au "tatouage invisible" pour le savoir, c'est tellement agréable !

@SentientAGI