Ubisoft La Forge Research | CVPR 2026
La difficulté de capturer un visage humain
Il est coûteux de créer une tête humaine numérique réaliste pour les jeux vidéo ; financièrement bien sûr, mais aussi en termes de temps et d'infrastructure. Le mètre étalon du secteur repose sur la photogrammétrie : entourer un acteur de dizaines, voire de centaines de caméras synchronisées afin de trianguler chaque pore, chaque ride et chaque contour du visage pour créer un maillage 3D dense. Les résultats sont impressionnants, mais cette technique nécessite un light stage dédié, un temps de calcul important et des graphistes expérimentés pour éliminer les artefacts, notamment au niveau des cheveux et des traits fins du visage.
Une autre solution consiste à s'appuyer sur l'IA. Les modèles IA fondateurs récents sont capables de reconstituer un visage en 3D à partir d'une seule image en quelques secondes. Malheureusement, cette efficacité se fait au détriment de la précision et gomme la géométrie subtile qui rend un visage unique et reconnaissable : la profondeur exacte d'une ride, le pli caractéristique d'une paupière, etc. Le résultat est acceptable, mais inexact.
Chez Ubisoft La Forge, nous nous sommes posé la question suivante : et si ce compromis n'était pas nécessaire ?
Approche hybride : l'idée centrale
Skullptor repose sur un principe simple mais puissant : les modèles fondateurs basés sur les données et l'optimisation directe ne sont pas des approches concurrentes. Au contraire, elles sont complémentaires.
Les modèles fondateurs, rapides, intègrent une compréhension approfondie des visages humains grâce à des ensembles de données d'apprentissage à grande échelle. Les méthodes basées sur l'optimisation, précises, s'adaptent à la géométrie de chaque individu en minimisant directement les erreurs géométriques. Le point faible de l'une est le point fort de l'autre et vice versa.
Nous avons donc mis en place un processus en deux étapes qui les utilise à la suite.
Dans la première étape, un réseau neuronal tenant compte de plusieurs points de vue traite un ensemble restreint d'images (entre trois et dix) et prédit les normal maps de surface pour chaque point de vue. Les normales de surface représentent l'orientation de chaque point à la surface de la peau, ce qui code - pour simplifier - un schéma géométrique dense du visage. Surtout, cette étape s'effectue en une seule passe « feed-forward » d'environ 1,5 s.
Dans la deuxième étape, ces normales prédites servent de données d'entrée à un processus d'optimisation du rendu inverse. À partir d'une sphère, un maillage est déformé de manière itérative afin que ses normales rendues correspondent aux normales prédites. À chaque itération, un remeshing adaptatif est appliqué pour restituer les détails fins de la surface. L'optimisation complète s'effectue en moins de 30 s.
Il en résulte un maillage 3D complet et détaillé de la tête, avec ses rides, ses plis cutanés et la géométrie de surface propre à chaque individu, reconstruit en quelques secondes à partir d'une poignée de caméras.
Assurer la cohérence géométrique des prédictions IA
L'utilisation d'un modèle fondateur pour la prédiction des valeurs normales comporte toutefois un inconvénient : ces modèles ont été conçus pour traiter une image à la fois. Lorsqu'on lui présente le même visage sous trois angles différents, chaque prédiction est effectuée indépendamment, sans tenir compte des autres. Un pli cutané visible de face et ce même pli vu de profil produiront des normales en conflit dans l'espace 3D. Lorsque l'on tente de reconstituer la géométrie à partir de ces normales contradictoires, ces caractéristiques sont équilibrées et lissées.
Pour y remédier, nous avons repris et enrichi DAViD, un modèle fondateur monoculaire conçu pour l'estimation des normales faciales, en l'agrémentant d'un mécanisme d'attention croisée tenant compte du point de vue. Entre chaque bloc transformeur, nous insérons une couche d'attention croisée qui permet à chaque point de vue de prendre en compte tous les autres simultanément. Les tokens de caractéristiques de chaque image deviennent la requête ; les clés et les valeurs sont construites à partir des caractéristiques concaténées de l'ensemble des images. La pose de la caméra est codée sous forme de vecteur positionnel et injectée directement dans ce processus, ce qui permet au modèle de savoir de quel point de vue provient chaque token.
De cette manière, le modèle prédit des normales qui sont géométriquement cohérentes quel que soit le point de vue. C'est cette cohérence qui garantit la qualité et la stabilité de l'optimisation en aval.
Des normal maps au maillage 3D
Après avoir généré des normal maps cohérentes, nous pouvons passer à la phase d'optimisation. Nous initialisons un maillage sous la forme d'une sphère unité, puis nous optimisons de manière itérative les positions des sommets afin de minimiser la différence entre les normales rendues du maillage et les prédictions.
Deux choix de design permettent à ce système de bien fonctionner dans la pratique.
D'une part, nous pondérons la perte normale en fonction de l'angle d'orientation de la caméra. Les normales prédites pour les zones de surface directement face à la caméra sont plus fiables que celles situées à un angle rasant, et l'optimisation en tient compte en accordant plus de poids aux zones frontales dans la perte de reconstruction.
D'autre part, nous utilisons l'optimiseur de Continuous Remeshing tout au long de la reconstruction. À chaque itération, des opérations de division, de contraction et de basculement d'arêtes sont appliquées afin d'adapter dynamiquement la résolution du maillage à la complexité géométrique locale. Cet optimiseur s'adapte en outre à l'échelle de la géométrie locale de chaque sommet, ce qui évite une dégradation du maillage en auto-intersections ou en faces effondrées, et permet aux détails fins, comme les rides, de ressortir clairement.
Les 300 étapes de l'optimisation complète s'effectuent en moins de 30 secondes sur une seule carte graphique grand public.
Pourquoi l'approche hybride est importante
Le succès de ce projet est dû avant tout au choix d'utiliser des normales de surface plutôt que des cartes de disparité ou une géométrie 3D explicite.
Premièrement, les normales de surface sont particulièrement bien adaptées aux modèles IA fondateurs. Contrairement à la géométrie 3D complexe, les normales peuvent être facilement générées à partir de données synthétiques afin de créer des ensembles d'apprentissage de haute qualité. Comme leur prédiction est une tâche de régression dense, pixel par pixel, les transformeurs de prédiction denses (dense prediction transformers, DPT) standard peuvent être adaptés naturellement à ce problème.
Deuxièmement, les normales constituent une représentation géométrique plus performante pour l'optimisation multi-vues. Là où les cartes de disparité indiquent uniquement la distance à laquelle se trouve un point, les normales fournissent des informations sur l'orientation de la surface. Cela signifie qu'elles permettent de saisir les détails de haute fréquence, comme le bord fin d'une ride ou le contour net d'une paupière, bien mieux que ne le permet la profondeur. Il est essentiel de noter que les normales sont invariantes d'échelle. Elles décrivent la forme locale plutôt que les distances absolues, ce qui permet de contourner les problèmes d'adaptation d'échelle qui ont tendance à perturber les chaînes de traitement de reconstruction multi-vues.
En utilisant des normales géométriquement cohérentes comme cible d'optimisation, Skullptor comble le fossé entre la rapidité de l'IA et la précision classique. Nous pouvons ainsi travailler dans des conditions inenvisageables en photogrammétrie traditionnelle, par exemple en n'utilisant que trois caméras, tout en conservant les détails nets et caractéristiques qui donnent un aspect réaliste à un humain numérique.
Résultats
Nous avons évalué Skullptor sur deux ensembles de données accessibles au public : NPHM, qui contient des numérisations à lumière structurée de haute qualité, et Multiface, qui propose des enregistrements vidéo multi-vues par light-stage.
Sur les deux ensembles de données, Skullptor offre une qualité géométrique comparable à celle de la photogrammétrie, tout en n'utilisant qu'une fraction des vues d'entrée et en effectuant la reconstruction en quelques secondes plutôt que quelques minutes. Il surpasse largement les méthodes récentes de reconstruction basées sur le « Gaussian Splatting » (2DGS et SuGaR) à tous points de vue, notamment la précision de la profondeur, l'erreur des normales angulaires et la préservation des détails de surface à haute fréquence.
Nous tenons à souligner la nette économie de points de vue : alors que le nombre de vues d'entrée passe de 23 à 3, Skullptor continue de fonctionner correctement et la qualité reste élevée même avec seulement trois caméras, là où la photogrammétrie classique perd considérablement en précision en dessous de 16 vues et produit des résultats pratiquement inutilisables avec trois.
Les comparaisons qualitatives vont dans le même sens : Skullptor restitue les rides, les plis cutanés et les variations de surface propres à chaque individu que les méthodes de Gaussian Splatting ne parviennent pas à reproduire.
Conclusion
Skullptor démontre qu'en combinant prédiction de normales basée sur les données et optimisation rapide du rendu inverse, il est possible de conjuguer la vitesse des modèles IA fondateurs et la qualité de la photogrammétrie à vue dense. Avec moins de 10 caméras et moins de 30 secondes, il génère une géométrie 3D haute fidélité complète de la tête, avec des détails allant jusqu'au niveau des rides.
La méthode actuelle est conçue pour des conditions de prise de vue contrôlées, des caméras synchronisées et un éclairage relativement homogène. Les reflets spéculaires intenses, flous de mouvement ou occlusions peuvent toutefois altérer le résultat final. Les prochaines étapes consisteront à étendre l'infrastructure pour une capture du corps entier, à prédire conjointement les normales et l'albédo, et à intégrer l'estimation de l'éclairage afin de permettre le relighting.
Nous publions ce code dans l'intérêt des recherches futures. D'autres résultats, notamment des reconstructions de séquences en 4D, sont disponibles sur la page du projet.