3D Gaussian Splatting : nouvel outil favori des artistes numériques ?

24 novembre 2023   •  
Écrit par Zoé Terouinard
3D Gaussian Splatting : nouvel outil favori des artistes numériques ?

Le 3D Gaussian Splatting, kezako ? Une technique de tramage permettant de restituer, à partir d’échantillons d’images et en temps réel, des scènes hyperréalistes. Zoom sur cet outil qui promet de révolutionner le monde de la création numérique.

Concrètement, comment marche la 3D Gaussian Splatting ? Cette méthode qui a récemment bouleversé la synthèse de vues de scènes capturées avec plusieurs photos ou vidéos se base sur la Structure from Motion (SfM), permettant de déterminer un nuage de points 3D à partir d’un ensemble d’images 2D. 

Une fois cet amas de points réunit, chacun des éléments est converti en gaussienne, ce qui entraîne la conversion des images vectorielles en images matricielles. Ce procédé s’appelle la « rastérisation ». Cependant, si la rastérisation est possible par la simple transformation d’image, leurs positions et leurs couleurs ne peuvent être déduites qu’à partir des données SfM, qu’il faut enrichir. Vous suivez toujours ?

3D Gaussian Splatting : mode d’emploi

Pour faire simple, disons que pour obtenir une qualité visuelle élevée, il faut des réseaux neuronaux qui se forment par étapes. Tout d’abord, il faut rastériser ces gaussiennes pour ensuite calculer la perte, en fonction de la différence entre l’image de départ et celle rastérisée. Ensuite, il suffit d’ajuster les paramètres gaussiens en fonction de cette perte, puis appliquer une densification et une taille optimisées grâce à un système de clonage/division. Si la gaussienne est petite, on la clone. Si elle est grande, on la divise. Enfin, si elle devient trop faible, on la supprime. 

Il est également essentiel que le rastériseur soit différentiable, afin de pouvoir être entraîné à partir d’éléments mathématiques. Un point qui n’est pertinent que pour la formation, car les gaussiennes entraînées peuvent également être restituées avec une approche non différentiable.

Une technique aux possibilités infinies 

Si cette technique, dont on a pris connaissance via l’échange avec différents artistes lors du GIFF, à Genève, semble nébuleuse pour le commun des mortels, elle apparaît comme une véritable secousse dans les domaines de la création numérique, du graphisme à l’art. Les résultats parlent d’eux-mêmes, la 3D Gaussian Splatting donnant lieu à des scènes de très hautes qualité, en temps réel, atteignant des niveaux qui semblaient inatteignables il y a encore quelques temps. 

Mais la 3D Gaussian Splatting a-t-elle fini de livrer tous ses secrets ? Puisqu’elle offre une représentation ultra-dense de l’espace 3D, cette technique semble être une solution toute trouvée pour continuer d’explorer tout pan de la recherche, centrée autour de la question de l’animation, de la modélisation sans formation sur des images de références, ainsi que sur la notion d’IA incorporées. Bref, une révolution est en marche, et les chercheurs la promettent visiblement incroyable.

À lire aussi
À Genève, le GIFF explore les possibilités des territoires virtuels
“Flow” ©Adriaan Lokman
À Genève, le GIFF explore les possibilités des territoires virtuels
S’il ne fait aucun doute que le Geneva International Film Festival – ou GIFF – est institution pour le 7ème art, l’évènement offre aussi…
10 novembre 2023   •  
On fait le point : deep learning vs machine learning
On fait le point : deep learning vs machine learning
L’un dépend de l’autre, l’autre dépend des hommes. L’un apprend de ses erreurs, l’autre plus difficilement. Avec des noms aussi proches…
25 septembre 2023   •  
Écrit par Zoé Terouinard
On fait le point : réalité augmentée vs. réalité virtuelle
On fait le point : réalité augmentée vs. réalité virtuelle
Sont-elles soeurs ? Ou bien rivales ? Les profanes auront même une fâcheuse tendance à les confondre. Alors, qu’est-ce qui différencie…
23 août 2023   •  
Écrit par Manon Schaefle
Explorez
Art numérique : quelles sont les 10 expositions à voir en avril 2025 ?
“PinkUnidentified DAY/049” ©Simon Lavi
Art numérique : quelles sont les 10 expositions à voir en avril 2025 ?
Le mois d'avril vient à peine de débuter et, déjà, annonce-t-il une flopée d'expositions d'art numérique. Histoire de ne rien louper...
01 avril 2025   •  
Écrit par Zoé Terouinard
Vu à Art Basel Hong Kong : « Human Unreadable » d'Operator
“Human Unreadable”, ©Operator
Vu à Art Basel Hong Kong : « Human Unreadable » d’Operator
Présentée dans le cadre du programme officiel "Conversations" d'Art Basel Hong Kong, la performance-conférence "Human Unreadable" associe...
31 mars 2025   •  
Écrit par Zoé Terouinard
"Pléonexie" : dans les coulisses de la dernière œuvre de Collectif Coin
“Pléonexie“, Collectif Coin, Biennale Experimenta, 2025 ©Quentin Chevrier
« Pléonexie » : dans les coulisses de la dernière œuvre de Collectif Coin
Début février, lors de la Biennale Experimenta, à Grenoble, le Collectif Coin présentait sa dernière installation, l'imposante et...
31 mars 2025   •  
Écrit par Maxime Delcourt
Festival Sous Dôme : que penser de la 3e édition ?
©Festival Sous Dôme
Festival Sous Dôme : que penser de la 3e édition ?
Retour sur un week-end passé sous le Planétarium de la Cité des Sciences, à Paris, où tout semblait possible : voir des tonnes de films à...
28 mars 2025   •  
Écrit par Zoé Terouinard
Nos derniers articles
Voir tous les articles
Dada Projects, les femmes au contrôle 
Dada Projects, les femmes au contrôle 
Dirigé, fondé et porté par des femmes, le studio de design 3D Dada Projects prouve que dans les domaines créatifs comme ailleurs, il n’y...
01 avril 2025   •  
Écrit par Zoé Terouinard
Art numérique : quelles sont les 10 expositions à voir en avril 2025 ?
“PinkUnidentified DAY/049” ©Simon Lavi
Art numérique : quelles sont les 10 expositions à voir en avril 2025 ?
Le mois d'avril vient à peine de débuter et, déjà, annonce-t-il une flopée d'expositions d'art numérique. Histoire de ne rien louper...
01 avril 2025   •  
Écrit par Zoé Terouinard
Vu à Art Basel Hong Kong : « Human Unreadable » d'Operator
“Human Unreadable”, ©Operator
Vu à Art Basel Hong Kong : « Human Unreadable » d’Operator
Présentée dans le cadre du programme officiel "Conversations" d'Art Basel Hong Kong, la performance-conférence "Human Unreadable" associe...
31 mars 2025   •  
Écrit par Zoé Terouinard
"Pléonexie" : dans les coulisses de la dernière œuvre de Collectif Coin
“Pléonexie“, Collectif Coin, Biennale Experimenta, 2025 ©Quentin Chevrier
« Pléonexie » : dans les coulisses de la dernière œuvre de Collectif Coin
Début février, lors de la Biennale Experimenta, à Grenoble, le Collectif Coin présentait sa dernière installation, l'imposante et...
31 mars 2025   •  
Écrit par Maxime Delcourt