3D Gaussian Splatting : nouvel outil favori des artistes numériques ?

24 novembre 2023   •  
Écrit par Zoé Terouinard
3D Gaussian Splatting : nouvel outil favori des artistes numériques ?

Le 3D Gaussian Splatting, kezako ? Une technique de tramage permettant de restituer, à partir d’échantillons d’images et en temps réel, des scènes hyperréalistes. Zoom sur cet outil qui promet de révolutionner le monde de la création numérique.

Concrètement, comment marche la 3D Gaussian Splatting ? Cette méthode qui a récemment bouleversé la synthèse de vues de scènes capturées avec plusieurs photos ou vidéos se base sur la Structure from Motion (SfM), permettant de déterminer un nuage de points 3D à partir d’un ensemble d’images 2D. 

Une fois cet amas de points réunit, chacun des éléments est converti en gaussienne, ce qui entraîne la conversion des images vectorielles en images matricielles. Ce procédé s’appelle la « rastérisation ». Cependant, si la rastérisation est possible par la simple transformation d’image, leurs positions et leurs couleurs ne peuvent être déduites qu’à partir des données SfM, qu’il faut enrichir. Vous suivez toujours ?

3D Gaussian Splatting : mode d’emploi

Pour faire simple, disons que pour obtenir une qualité visuelle élevée, il faut des réseaux neuronaux qui se forment par étapes. Tout d’abord, il faut rastériser ces gaussiennes pour ensuite calculer la perte, en fonction de la différence entre l’image de départ et celle rastérisée. Ensuite, il suffit d’ajuster les paramètres gaussiens en fonction de cette perte, puis appliquer une densification et une taille optimisées grâce à un système de clonage/division. Si la gaussienne est petite, on la clone. Si elle est grande, on la divise. Enfin, si elle devient trop faible, on la supprime. 

Il est également essentiel que le rastériseur soit différentiable, afin de pouvoir être entraîné à partir d’éléments mathématiques. Un point qui n’est pertinent que pour la formation, car les gaussiennes entraînées peuvent également être restituées avec une approche non différentiable.

Une technique aux possibilités infinies 

Si cette technique, dont on a pris connaissance via l’échange avec différents artistes lors du GIFF, à Genève, semble nébuleuse pour le commun des mortels, elle apparaît comme une véritable secousse dans les domaines de la création numérique, du graphisme à l’art. Les résultats parlent d’eux-mêmes, la 3D Gaussian Splatting donnant lieu à des scènes de très hautes qualité, en temps réel, atteignant des niveaux qui semblaient inatteignables il y a encore quelques temps. 

Mais la 3D Gaussian Splatting a-t-elle fini de livrer tous ses secrets ? Puisqu’elle offre une représentation ultra-dense de l’espace 3D, cette technique semble être une solution toute trouvée pour continuer d’explorer tout pan de la recherche, centrée autour de la question de l’animation, de la modélisation sans formation sur des images de références, ainsi que sur la notion d’IA incorporées. Bref, une révolution est en marche, et les chercheurs la promettent visiblement incroyable.

À lire aussi
À Genève, le GIFF explore les possibilités des territoires virtuels
“Flow” ©Adriaan Lokman
À Genève, le GIFF explore les possibilités des territoires virtuels
S’il ne fait aucun doute que le Geneva International Film Festival – ou GIFF – est institution pour le 7ème art, l’évènement offre aussi…
10 novembre 2023   •  
On fait le point : deep learning vs machine learning
On fait le point : deep learning vs machine learning
L’un dépend de l’autre, l’autre dépend des hommes. L’un apprend de ses erreurs, l’autre plus difficilement. Avec des noms aussi proches…
25 septembre 2023   •  
Écrit par Zoé Terouinard
On fait le point : réalité augmentée vs. réalité virtuelle
On fait le point : réalité augmentée vs. réalité virtuelle
Sont-elles soeurs ? Ou bien rivales ? Les profanes auront même une fâcheuse tendance à les confondre. Alors, qu’est-ce qui différencie…
23 août 2023   •  
Écrit par Manon Schaefle
Explorez
Qui est Gaëtan Brunel, le nouveau président du CNC ?
Gaëtan Bruel ©Beowulf Sheehan / Villa Albertine
Qui est Gaëtan Brunel, le nouveau président du CNC ?
L'ancien directeur de cabinet de Rachida Dati a été nommé à la présidence du Centre national du cinéma et de l'image animée (CNC). Une...
Il y a 6 heures   •  
Écrit par Zoé Terouinard
Book Club : « Fragments d'un village global » de Marshall McLuhan
“Fragments d'un village global“, de Marshall McLuhan ©Éditions Allia
Book Club : « Fragments d’un village global » de Marshall McLuhan
Avant de s’imposer dans les musées, l’art numérique trouve sa source dans les bibliothèques. « Book Club » revient sur ces livres...
06 février 2025   •  
Écrit par Zoé Terouinard
Spectacles immersifs : la start-up Lotchi rêve-t-elle de conquérir le marché européen ?
“Luminisence” ©Lotchi
Spectacles immersifs : la start-up Lotchi rêve-t-elle de conquérir le marché européen ?
Créée en 2023, la start-up Lotchi s’est déjà illustrée par le succès de l’expérience itinérante dans les églises du pays, “Luminiscence”...
05 février 2025   •  
Écrit par Zoé Terouinard
Gaîté Lyrique : tout ce que l'on sait de l'occupation de la salle parisienne
©Gaîté Lyrique
Gaîté Lyrique : tout ce que l’on sait de l’occupation de la salle parisienne
Depuis le 10 décembre, la Gaîté Lyrique est occupée par près de 400 mineurs isolés sans papiers, qui revendiquent leur droit au...
03 février 2025   •  
Écrit par Zoé Terouinard
Nos derniers articles
Voir tous les articles
Qui est Gaëtan Brunel, le nouveau président du CNC ?
Gaëtan Bruel ©Beowulf Sheehan / Villa Albertine
Qui est Gaëtan Brunel, le nouveau président du CNC ?
L'ancien directeur de cabinet de Rachida Dati a été nommé à la présidence du Centre national du cinéma et de l'image animée (CNC). Une...
Il y a 6 heures   •  
Écrit par Zoé Terouinard
En studio avec Achraf Touloub : "Quand je produis des images, je suis d’abord en défiance avec moi-même"
Atelier d'Achraf Touloub à Paris ©Souleyman Said.
En studio avec Achraf Touloub : « Quand je produis des images, je suis d’abord en défiance avec moi-même »
Artiste multimédia. Ex-étudiant des Beaux-Arts de Paris. Sélectionné pour participer à la Biennale de Venise en 2017. Pour ce qui est de...
06 février 2025   •  
Écrit par Alexandre Parodi
Book Club : « Fragments d'un village global » de Marshall McLuhan
“Fragments d'un village global“, de Marshall McLuhan ©Éditions Allia
Book Club : « Fragments d’un village global » de Marshall McLuhan
Avant de s’imposer dans les musées, l’art numérique trouve sa source dans les bibliothèques. « Book Club » revient sur ces livres...
06 février 2025   •  
Écrit par Zoé Terouinard
Spectacles immersifs : la start-up Lotchi rêve-t-elle de conquérir le marché européen ?
“Luminisence” ©Lotchi
Spectacles immersifs : la start-up Lotchi rêve-t-elle de conquérir le marché européen ?
Créée en 2023, la start-up Lotchi s’est déjà illustrée par le succès de l’expérience itinérante dans les églises du pays, “Luminiscence”...
05 février 2025   •  
Écrit par Zoé Terouinard