L'équipe Seed de Byte publie Seed3D 2.0, améliorant la précision géométrique et le cadre de génération de matériaux

Selon le suivi de Dongcha Beating, l’équipe Seed de ByteDance a lancé Seed3D 2.0, un modèle qui génère des actifs 3D avec matériaux à partir d’une seule image d’entrée. Cette mise à jour se concentre sur la précision géométrique et le réalisme des matériaux, avec l’API désormais en ligne sur Volcano Ark. La génération géométrique utilise une stratégie en deux étapes grossière-fine : d’abord, une topologie grossière est établie à l’aide d’un DiT à grands paramètres, puis la restauration des arêtes nettes et des surfaces fines est effectuée. La partie matériaux utilise une architecture MoE pour améliorer les détails en haute résolution, en introduisant des priors VLM pour améliorer la stabilité de la décomposition des matériaux sous des conditions d’éclairage inconnues, en produisant des textures PBR complètes pouvant être intégrées directement dans des pipelines de rendu standard. Soixante évaluateurs ayant une expérience en modélisation 3D ont réalisé des évaluations à l’aveugle en utilisant environ 200 cas de test, comparant Seed3D 2.0 avec Hunyuan3D-2.5/3.1, Tripo 3.0, Rodin Gen2, HiTem v2.0, et la version précédente Seed3D 1.0. Les taux de préférence pour la génération géométrique variaient de 65,1 % à 98,3 %, tandis que le taux de préférence pour les actifs 3D avec matériaux dépassait 69 %. En termes de tâches en aval, Seed3D 2.0 peut décomposer des actifs 3D en composants indépendants en fonction de leur fonctionnalité et ajouter des informations de jointure, en produisant un format URDF compatible avec des moteurs de simulation comme Isaac Sim, adapté aux scénarios d’interaction dynamique tels que la préhension robotique. Au niveau de la scène, il prend en charge l’entrée de texte, d’images multi-vues ou de vidéos, combinant plusieurs actifs pour générer des scènes complètes.