Le 3D Gaussian Splatting, kezako ? Une technique de tramage permettant de restituer, à partir d’échantillons d’images et en temps réel, des scènes hyperréalistes. Zoom sur cet outil qui promet de révolutionner le monde de la création numérique.
Concrètement, comment marche la 3D Gaussian Splatting ? Cette méthode qui a récemment bouleversé la synthèse de vues de scènes capturées avec plusieurs photos ou vidéos se base sur la Structure from Motion (SfM), permettant de déterminer un nuage de points 3D à partir d’un ensemble d’images 2D.
Une fois cet amas de points réunit, chacun des éléments est converti en gaussienne, ce qui entraîne la conversion des images vectorielles en images matricielles. Ce procédé s’appelle la « rastérisation ». Cependant, si la rastérisation est possible par la simple transformation d’image, leurs positions et leurs couleurs ne peuvent être déduites qu’à partir des données SfM, qu’il faut enrichir. Vous suivez toujours ?
3D Gaussian Splatting : mode d’emploi
Pour faire simple, disons que pour obtenir une qualité visuelle élevée, il faut des réseaux neuronaux qui se forment par étapes. Tout d’abord, il faut rastériser ces gaussiennes pour ensuite calculer la perte, en fonction de la différence entre l’image de départ et celle rastérisée. Ensuite, il suffit d’ajuster les paramètres gaussiens en fonction de cette perte, puis appliquer une densification et une taille optimisées grâce à un système de clonage/division. Si la gaussienne est petite, on la clone. Si elle est grande, on la divise. Enfin, si elle devient trop faible, on la supprime.
Il est également essentiel que le rastériseur soit différentiable, afin de pouvoir être entraîné à partir d’éléments mathématiques. Un point qui n’est pertinent que pour la formation, car les gaussiennes entraînées peuvent également être restituées avec une approche non différentiable.
Une technique aux possibilités infinies
Si cette technique, dont on a pris connaissance via l’échange avec différents artistes lors du GIFF, à Genève, semble nébuleuse pour le commun des mortels, elle apparaît comme une véritable secousse dans les domaines de la création numérique, du graphisme à l’art. Les résultats parlent d’eux-mêmes, la 3D Gaussian Splatting donnant lieu à des scènes de très hautes qualité, en temps réel, atteignant des niveaux qui semblaient inatteignables il y a encore quelques temps.
Mais la 3D Gaussian Splatting a-t-elle fini de livrer tous ses secrets ? Puisqu’elle offre une représentation ultra-dense de l’espace 3D, cette technique semble être une solution toute trouvée pour continuer d’explorer tout pan de la recherche, centrée autour de la question de l’animation, de la modélisation sans formation sur des images de références, ainsi que sur la notion d’IA incorporées. Bref, une révolution est en marche, et les chercheurs la promettent visiblement incroyable.
