Li Feifei World Labs open source Spark 2.0, rendering over 100 million 3D Gaussian points in real-time within the browser

ME News Actualités, le 15 avril (UTC+8), selon la surveillance de 1M AI News, la société d’intelligence spatiale World Labs a publié le moteur de rendu open source 3D Gaussian Splatting (3DGS) Spark 2.0, dont la capacité principale est de charger et de rendre en flux dans le navigateur de n’importe quel appareil plus d’un milliard de points gaussiens (splat) constituant une scène 3D à grande échelle, couvrant les ordinateurs de bureau, iOS, Android et les casques VR. Spark est construit sur THREE.js et WebGL2, ce dernier étant l’interface graphique 3D supportée par presque tous les appareils actuels. La plupart des appareils grand public ne peuvent rendre qu’entre 1 million et 5 millions de points gaussiens à un taux d’images interactif, alors que les scans 3D volumineux comptent souvent des dizaines de millions voire des milliards de points, avec une taille de données brutes pouvant dépasser 1 Go. La version 2.0 résout ce goulot d’étranglement grâce à trois nouvelles technologies : 1. Système de détails hiérarchiques (LoD) : organise tous les points gaussiens en un arbre hiérarchique, chaque nœud parent étant une approximation à basse résolution de ses nœuds enfants. Lors du rendu, il parcourt automatiquement de grossier à précis en fonction de l’angle de vue, sélectionnant un sous-ensemble optimal, et en fixant un budget de rendu (de 500 000 à 2,5 millions de points) pour assurer une stabilité du taux d’images, indépendamment du nombre total de points dans la scène. 2. Chargement progressif en flux : le nouveau format de fichier .RAD supporte l’accès aléatoire et la transmission progressive. Après ouverture de la scène, une esquisse grossière composée de 64 000 points est affichée immédiatement, puis les détails sont chargés progressivement selon la priorité de l’angle de vue, avec une réorganisation automatique lors des déplacements de l’utilisateur. 3. Gestion de la mémoire virtuelle sur GPU : un pool de mémoire fixe de 16 millions de points est alloué sur le GPU, avec des pages de 64 000 points qui sont automatiquement échangées en mémoire, semblable au mécanisme de mémoire virtuelle d’un système d’exploitation, permettant à une mémoire limitée d’accéder à des scènes presque infinies. L’algorithme principal est écrit en Rust et compilé en WebAssembly, fonctionnant dans un thread Web Worker en arrière-plan, sans bloquer la boucle de rendu principale. Spark était à l’origine un moteur de rendu interne développé par World Labs pour leur produit de génération de mondes 3D, Marble, puis est devenu un outil open source général. Lors de cette publication, plusieurs œuvres communautaires ont été présentées, notamment un jeu de tir spatial multijoueur appelé Starspeed, construit avec Marble et Spark, dont l’environnement de jeu est constitué de plus d’un milliard de points gaussiens, pouvant être joué directement dans le navigateur. (Source : BlockBeats)