Лі Фейфей World Labs відкриває код Spark 2.0, потокове рендеринг понад 100 мільйонів 3D-гаусівських точок у браузері

ME News Новини, 15 квітня (UTC+8), за даними моніторингу 1M AI News, компанія з просторового інтелекту World Labs випустила відкритий 3D-рендеринг двигун Gaussian Splatting (3DGS) Spark 2.0, основна здатність якого полягає у потоковому завантаженні та рендерингу понад 100 мільйонів гаусівських точок (splat) для створення масштабних 3D-сцен у браузері на будь-якому пристрої, включаючи настільні ПК, iOS, Android та VR-шоломи. Spark побудований на основі THREE.js та WebGL2, останній з яких є сучасним графічним інтерфейсом, підтримуваним майже всіма пристроями. Більшість споживчих пристроїв здатні рендерити від 1 до 5 мільйонів гаусівських точок з інтерактивною частотою кадрів, тоді як великі 3D-сканування можуть містити десятки мільйонів або навіть сотні мільйонів точок, з обсягом вихідних даних понад 1 ГБ. Версія 2.0 вирішує цю проблему за допомогою трьох нових технологій: 1. Система рівнів деталізації (LoD): організовує всі гаусівські точки у ієрархічне дерево, де кожен батьківський вузол є низько роздільною здатністю наближенням його дочірніх вузлів. Під час рендерингу автоматично обходить дерево від грубого до детального з урахуванням кута огляду, вибираючи оптимальний підмножину точок, встановлюючи бюджет рендерингу (від 500 тисяч до 2,5 мільйонів точок), що забезпечує стабільну частоту кадрів незалежно від загальної кількості точок у сцені. 2. Поступове потокове завантаження: новий формат файлу .RAD підтримує випадковий доступ і поступове передавання даних. Після відкриття сцени відображається грубий контур з 64 тисяч точок, а потім деталі поступово завантажуються відповідно до пріоритету огляду, автоматично перерозподіляючи пріоритет при переміщенні користувача. 3. Управління віртуальною відеопам’яттю: на GPU виділяється фіксований пул пам’яті на 160 мільйонів точок, з автоматичним підвантаженням і вивантаженням даних у блоках по 64 тисячі точок, схоже на механізм віртуальної пам’яті операційної системи, що дозволяє обмеженій відеопам’яті отримувати доступ до майже необмежених даних сцени. Основний алгоритм написаний на Rust і скомпільований у WebAssembly, що виконується у фоновому потоці Web Worker, не блокуючи основний цикл рендерингу. Спочатку Spark був внутрішнім рендерером для продукту World Labs з генерації 3D-світу Marble, але згодом став відкритим інструментом. В рамках релізу було продемонстровано кілька проектів спільнот, зокрема багатокористувацьку космічну стрілялку Starspeed, створену за допомогою Marble і Spark, яка складається з понад 100 мільйонів гаусівських точок і запускається безпосередньо у браузері. (Джерело: BlockBeats)