Matériau de Base Génératif : un Prototype Open Source pour l’Estimation de Matériaux PBR Présenté en Avant-Première à SIGGRAPH Asia 2025

Ubisoft La Forge, le réseau R&D d’Ubisoft, a le plaisir de publier les poids du modèle d’estimation des matériaux issu de son article « CHORD : Chain of Rendering Decomposition for PBR Material Estimation from Generated Texture Images », accepté à SIGGRAPH Asia 2025.

Qu’est-ce qu’un Matériau de Base dans les Jeux Video?

Les matériaux de base sont des composants modulaires et réutilisables qui donnent l’apparence finale aux objets 3D dans les univers des jeux vidéo. Ils sont indépendants de la forme des objets 3D ; ils peuvent être répétés sur des surfaces infinies et combinés pour créer des textures sophistiquées.

Les jeux en monde ouvert utilisent généralement des centaines de matériaux de base dont la production demande beaucoup de temps et une solide expertise en logiciels 3D. Ils sont créés par des artistes de texture à l’aide de diverses techniques telles que la photogrammétrie, les scans ou des outils procéduraux comme Adobe Substance 3D. Bien que toutes ces techniques aient prouvé leur efficacité, les avancées récentes en génération d’images permettent de créer des visuels à partir de text, suggérant un nouvel outil potentiel pour la création de matériaux. C’est pourquoi La Forge collabore avec des artistes de matériaux et des artistes techniques des équipes de développement de jeux afin de développer "Generative Base Material", un prototype de R&D destiné à assister les artistes de matériaux dans leur processus de création.

« Créer des matériaux PBR de haute qualité exige un mélange rare de vision artistique et de précision technique — un ensemble de compétences difficile à trouver et encore plus difficile à déployer à grande échelle. La promesse d’une assistance par l’IA est enthousiasmante, car elle peut rendre la production de matériaux plus accessible et permettre aux équipes de se concentrer sur la créativité. À terme, cela pourrait nous aider à mieux concrétiser les ambitions visuelles de nos jeux. » – Gilles Fleury, Directeur Artistique Technique Senior

Exemple d’un matériau de base pour une surface rocheuse créé avec des techniques traditionnelles ; les cartes du matériau incluent (de gauche à droite) la couleur de base, la normale, la hauteur et la rugosité.

Aperçu du Prototype

L’objectif de notre prototype est de proposer une chaîne accessible qui génère des matériaux de base pour le rendu physiquement réaliste (PBR) à partir d’entrées telles que du texte ou des images. Notre priorité est d’offrir une assistance aux créateurs pour accélérer leurs processus de création tout en maximisant leur contrôle sur les résultats. Pour cela, nous avons conçu un prototype en plusieurs étapes composée de 3 modèles IA distincts.

Étape 1 : Synthèse d’Image de Texture

À partir d’un prompt textuel et d’images optionnelles de conditionnement telles que des linearts, des croquis ou des cartes de hauteur, notre premier modèle d'IA génère une texture 2D repetable et sans couture représentant le matériau sous un éclairage fixe. Ce modèle est un modèle de diffusion personnalisé entrainé sur des ressources internes, permettant aux artistes de tirer parti des outils et techniques existants pour contrôler la génération d’images de texture, en utilisant du text, des images, des ControlNets, des Adapters, etc.

Étape 2 : Estimation du Matériau à Partir d'une Image

Lors de la deuxième étape, notre prototype convertit l’image de texture générée en cartes de matériaux PBR. Cette étape utilise notre architecture de modèle personnalisée « CHORD », qui effectue une chaîne de décomposition du rendu. Plus de détails sur ce modèle sont disponibles dans la suite de cet article de blog.

Étape 3 : Aggrandissement du Matériaux

Enfin, comme les jeu vidéo nécessitent souvent des textures en 2K ou 4K, notre troisième modèle d'IA permet un aggrandissement de la résolution des cartes PBR x2 ou x4.

Aperçu du prototype - Nos 3 modèles d’IA combinés permettent de passer de text à un ensemble complet de textures haute résolution, qui peut ensuite être affiné par les artistes de texture.

Comment CHORD Fait Progresser le Domaine de l’Estimation des Matériaux PBR

CHORD est un modèle basé sur la diffusion qui prédit les cartes de matériaux à partir d’une seule image RGB. Il prend une image de texture en entrée et produit des canaux svBRDF standard tels que la couleur de base, la normale, la hauteur, la rugosité et la métallité. Notre architecture de modèle intègre plusieurs nouveautés :

Décomposition chaînée : CHORD organise la décomposition du rendu en une chaîne qui simplifie la prédiction multi‑modale en la décomposant en sous‑tâches gérables. La couleur de base est prédite en premier ; la carte d’irradiance approximée est calculée en retirant l’information de couleur de l’image d’entrée et sert à prédire la carte de normales. La carte de normales est utilisée pour calculer la carte de hauteur par intégration. Ensuite, toutes les cartes prédites sont injectées dans un moteur de rendu pour générer une image synthétique, et la différence avec l’image d’entrée est minimisée afin de retrouver les paramètres approximés de rugosité et de métallité, utilisés pour prédire les cartes finales de rugosité et de métallité.

Conditionement-LEGO : Le conditionement sous forme de blocs modulaires résout les conflits de poids lors de prédiction multi‑modale, en autorisant des poids partagés pour l’alignement spatial mais un traitement spécifique selon la modalité. Inspiré par les travaux de (Zeng et al., 2024) sur RGB↔X, CHORD utilise les embeddings texte CLIP des mots‑clés "Basecolor", "Normal", "Roughness", "Metalness" comme commutateurs pour gérer différentes modalités dans un cadre unifié.

Apprentissage en un seul pas : Enfin, l’approche d’entraînement en un seul pas améliore l’efficacité et la qualité de sortie en évitant le débruitage multi‑étapes typique des modèles de diffusion.

Notre procédure d’entraînement suit une approche en deux phases : une phase de pré‑entraînement qui minimise la perte dans l’espace latent, et une phase en un seul pas où la perte est calculée directement dans l’espace image, en omettant certains termes de bruit pour des raisons d’efficacité.

Architecture de CHORD

Jeu de Données d’Entraînement

La version partagée de notre modèle est entraînée avec MatSynth, un vaste jeu de données open‑source d’environ 5 700 matériaux PBR, largement utilisé dans la communauté de l’infographie.

Lors de la préparation des données, nous augmentons notre jeu d’entraînement en faisant pivoter les matériaux selon 4 angles différents, pour aboutir à 22 800 échantillons. Pendant l’entraînement, nous enrichissons encore les données à la volée en recadrant et redimensionnant aléatoirement les matériaux.

S'appuyer sur l'Open Source Pour l'Implémentation

Compte tenu de la nature multi-étapes de notre prototype, ComfyUI fournit un environement de développement efficace pour construire des workflows intégrés réalisant la synthèse d’images de texture, l’estimation du matériau et l'agrandissement des cartes du matériau. Cela nous permet également de tirer parti des modèles génératifs de pointe et des fonctionnalités puissantes de ComfyUI, qui offrent aux créateurs un contrôle précis grâce aux ControlNets, au guidage par image, à l’inpainting et d’innombrables autres options.

C’est grâce aux technologies open source que nous avons pu développer et augmenter le potentiel de notre prototype ; il nous a semblé naturel de contribuer à la communauté en retour. C’est pourquoi, en plus des poids de notre modèle, nous sommes heureux de publier en open source un ensemble de nœuds personnalisés pour exécuter CHORD directement dans ComfyUI. Vous pouvez en apprendre plus sur l’utilisation des nœuds et trouver des exemples de workflows dans cet article de blog : Ubisoft Open-Sources the CHORD Model and ComfyUI Nodes for End-to-End PBR Material Generation.

Résultats

Nos comparaisons quantitatives démontrent que CHORD surpasse les autres méthodes sur la plupart des cartes de matériau, en termes de PSNR et de LPIPS. Davantage de détails et des études d’ablation sont disponibles dans notre article de recherche.

D’un point de vue qualitatif, CHORD produit des résultats à la pointe dans sa catégorie de modèles de génération multi-modale de cartes PBR, comme le montrent les visualisations ci-dessous. Cependant, les tests effectués en collaboration avec des artistes soulignent que les résultats ne sont pas encore prêts pour la production, mais constituent une première étape solide vers notre objectif : leur donner plus de pouvoir.

Une texture de pâtes au pesto, générée à partir de text lors de la première étape, puis convertie en matériau lors de la seconde.

Une texture de bas‑relief en marbre avec des pivoines. La carte de rugosité est remplacée par une valeur fixe pour améliorer la qualité visuelle dans le rendu 3D.

Une texture de tuiles d'ardoises. Un ControlNet avec une image de lineart est utilisé pour guider le motif des tuiles lors de la première étape.

Une texture de fourrure de loup. Un ControlNet avec une carte de hauteur de fourrure animale est utilisé pour guider la génération. La même carte de hauteur est réutilisée dans le rendu 3D.

Limites Actuelles

Bien que les résultats obtenus avec notre prototype soient enthousiasmants, leur qualité nécessite encore être améliorée.

« Bien que la qualité ne soit pas encore au niveau requis pour les matériaux des jeux vidéo AAA, cela montre beaucoup de potentiel, et je suis convaincu qu’il ne s’agit que d’une question de temps avant d’obtenir les résultats attendus. » – Greg Baran, Expert Material Artist

De plus, notre modèle CHORD est optimisé pour des images en résolution 1024, alors que les textures de jeux de haute qualité sont généralement en 2048 ou 4096. L'aggrandissement des cartes de matériau après leur génération constitue une solution efficace, mais souffre d’une accumulation d’erreurs tout au long de la chaine de production.

Nos tests démontrent que notre prototype fonctionne bien pour les matériaux organiques, mais présente des limites pour l’estimation des cartes svBRDF à partir de textures aux propriétés spéculaires fortes, comme le métal. La carte de métallité est particulièrement difficile à prédire avec une grande précision.

À Retenir

Développer "Generative Base Material" pour en faire un véritable outil de production nécessite encore davantage de recherche, mais notre prototype démontre son potentiel pour assister les créateurs dans plusieurs cas d’usage : en phase de conception pour créer des références de textures ou des matériaux conceptuels, et en production pour des matériaux temporaires.

Le prototype multi-étapes offre également une grande flexibilité et un contrôle accru. Les artistes peuvent utiliser l’ensemble des modèles d'IA pour prototyper rapidement des matériaux et habiller une scène, mais chaque modèle d’IA peut aussi être utilisé séparément pour mixer et intégrer les résultats générées dans leur processus de création existant.

« L’approche modulaire s’intègre très bien aux workflows existants de création de matériaux, ce qui facilite l’adoption en positionnant l’IA comme un outil supplémentaire dans les pipelines actuels plutôt qu’un changement disruptif. C’est rassurant pour les artistes qui pourraient être hésitants face à cette nouvelle technologie. » – Gilles Fleury, Directeur Artistique Technique Senior

Alors que nous publions CHORD auprès de la communauté de recherche et au-delà, nous avons hâte de découvrir ce que les créatifs produiront avec notre modèle. Contactez-nous et faites-le nous savoir à l’adresse : laforge[at]ubisoft.com.

Pour démarrer avec l’estimation de matériaux CHORD :

• Site projet
• Page Arxiv
• Article de Recherche
• Suppléments
• Code
• Implémentation dans ComfyUI