Ли Фэйфэй World Labs открывает исходный код Spark 2.0, потоковая визуализация более 100 миллионов 3D-гауссовых точек в браузере

ME News Новости, 15 апреля (UTC+8), по данным мониторинга 1M AI News, компания пространственного интеллекта World Labs выпустила открытый исходный код движка рендеринга 3D Gaussian Splatting (3DGS) Spark 2.0, основная способность которого — потоковая загрузка и рендеринг более 100 миллионов гауссовых точек (splat), составляющих масштабную 3D-сцену, на любом устройстве через браузер, включая настольные ПК, iOS, Android и VR-шлемы. Spark основан на THREE.js и WebGL2, которые в настоящее время поддерживаются практически всеми устройствами. Большинство потребительских устройств могут рендерить в интерактивном режиме от 1 до 5 миллионов гауссовых точек, тогда как крупные 3D-сканы могут содержать десятки миллионов или даже сотни миллионов точек, исходный объем данных превышает 1 ГБ. Версия 2.0 решает эту проблему с помощью трех новых технологий: 1. Система уровней детализации (LoD): все гауссовые точки организованы в иерархическое дерево, где каждый родительский узел является низкоразрешенной аппроксимацией его дочерних узлов. При рендеринге автоматически происходит обход от грубого к детальному в зависимости от угла обзора, выбирается оптимальный подмножество точек, а установка бюджета рендеринга (от 500 тысяч до 2,5 миллионов точек) обеспечивает стабильную частоту кадров, независимо от общего количества точек в сцене. 2. Пошаговая потоковая загрузка: специально разработанный формат файла .RAD поддерживает произвольный доступ и постепенную передачу данных. После открытия сцены сразу отображается грубый контур из 64 тысяч точек, затем по приоритету угла обзора постепенно загружаются детали, а при перемещении пользователя приоритет автоматически перераспределяется. 3. Управление виртуальной видеопамятью: на GPU выделяется фиксированный пул памяти на 160 миллионов точек, который автоматически подгружает и выгружает данные по страницам из 64 тысяч точек, подобно механизму виртуальной памяти операционной системы, что позволяет ограниченной видеопамяти получать доступ к практически неограниченным данным сцены. Основной алгоритм написан на Rust и скомпилирован в WebAssembly, работает в фоновом потоке Web Worker, не блокируя основной цикл рендеринга. Spark изначально был внутренним рендерером, разработанным World Labs для их продукта по генерации 3D мира Marble, затем стал открытым инструментом. Одновременно с этим был представлен ряд работ сообщества, включая многопользовательскую космическую стрелялку Starspeed, созданную с использованием Marble и Spark, в которой вся игровая среда состоит из более чем 100 миллионов гауссовых точек и запускается прямо в браузере. (Источник: BlockBeats)