Ли Фэйфэй World Labs открывает исходный код Spark 2.0, потоковая визуализация более 100 миллионов 3D-гауссовых точек в браузере

ME News Новости, 15 апреля (UTC+8), по данным мониторинга 1M AI News, компания пространственного интеллекта World Labs выпустила открытый исходный код движка рендеринга 3D Gaussian Splatting (3DGS) Spark 2.0, основная способность которого — потоковая загрузка и рендеринг более 100 миллионов гауссовых точек (splat), составляющих масштабную 3D-сцену, на любом устройстве через браузер, охватывая настольные ПК, iOS, Android и VR-шлемы. Spark основан на THREE.js и WebGL2, которые в настоящее время поддерживаются практически всеми устройствами как 3D-графический интерфейс. Большинство потребительских устройств могут рендерить в интерактивном режиме от 1 до 5 миллионов гауссовых точек, тогда как крупные 3D-сканы могут содержать десятки миллионов или даже сотни миллионов точек, исходные данные которых могут достигать более 1 ГБ. Версия 2.0 решает эту проблему с помощью трех новых технологий: 1. Система уровней детализации (LoD): все гауссовые точки организованы в иерархическое дерево, где каждый родительский узел является низкоразрешенной аппроксимацией своих дочерних узлов. При рендеринге автоматически происходит обход от грубого к детальному в зависимости от угла обзора, выбирается оптимальный подмножество точек, а установка бюджета рендеринга (от 500 тысяч до 2,5 миллионов точек) обеспечивает стабильную частоту кадров, независимо от общего количества точек в сцене. 2. Пошаговая потоковая загрузка: новая структура файла .RAD поддерживает произвольный доступ и постепенную передачу данных. После открытия сцены сразу отображается грубый контур из 64 тысяч точек, затем по приоритету угла обзора постепенно загружаются детали, а при перемещении пользователя приоритет автоматически перераспределяется. 3. Управление виртуальной видеопамятью: на GPU выделяется фиксированный пул памяти на 160 миллионов точек, который автоматически подгружает и выгружает данные по страницам из 64 тысяч точек, подобно механизму виртуальной памяти операционной системы, что позволяет ограниченной видеопамяти получать доступ к практически неограниченным данным сцены. Основной алгоритм написан на Rust и скомпилирован в WebAssembly, работает в фоновом потоке Web Worker, не блокируя основной цикл рендеринга. Spark изначально был внутренним рендерером, разработанным компанией World Labs для их продукта по генерации 3D мира Marble, затем стал открытым инструментом общего назначения. Одновременно с этим был представлен ряд работ сообщества, включая многопользовательскую космическую стрелялку Starspeed, созданную с использованием Marble и Spark, в которой вся игровая среда состоит из более чем 100 миллионов гауссовых точек и запускается прямо в браузере. (Источник: BlockBeats)