NVIDIA cette fois ne fait vraiment pas dans la dentelle, en lançant directement une bête de compréhension vidéo open source

Nemotron 3 Nano Omni, traite les vidéos à une vitesse incroyable : peut gérer 10 heures de contenu en une heure, soit 10 fois plus vite que la vitesse de lecture
Le cœur repose sur la technologie de convolution 3D, plus besoin de balayer image par image, mais de "engloutir" les données en blocs, maximisant ainsi l'efficacité
À l'avenir, ces scénarios seront vraiment agréables :
Trouver dans la surveillance 24h/24 des personnes "sans casque de sécurité et en train de se disputer"
Localiser précisément parmi des centaines de matériaux "avec le bruit des vagues et capturant un coucher de soleil"
Diagnostiquer un bruit anormal du moteur en écoutant une vidéo de fonctionnement du moteur
En quelques minutes, tout est réglé, même l'argent de Whisper est économisé
Mais il faut faire attention, ce gars est un étudiant typique en spécialisation limitée
Toutes ses compétences sont concentrées sur la compréhension multimodale et l'efficacité de traitement, si vous voulez l'utiliser pour coder ou faire des inférences textuelles complexes, ses performances pourraient même être inférieures à celles de certains modèles légers purement textuels
Conclusion : ne le considérez pas comme un programmeur tout-en-un, mais dans les scénarios pratiques comme l’analyse audio-vidéo ou l’étiquetage massif de matériaux, c’est absolument une légende dans le monde open source
Pour ceux qui font de l’IA vidéo ou multimodale, il faut absolument l’essayer
L’adresse du projet est dans la section des commentaires 👇