Qu’est-ce qu’un opéra en réalité virtuelle ? Comment financer les nouvelles œuvres d’art qui mélangent technologie, musique et vidéo ? L’évolution technologique a-t-elle une limite ? Toutes ces questions, Michel Van der Aa, compositeur et réalisateur néerlandais les soulève à travers From Dust, un opéra immersif sacré meilleure œuvre de la seconde édition de la Compétition Immersive du Festival de Cannes. Celui qui s’auto-définit comme un geek nous raconte le point commun entre un opéra, l’IA générative et un film de 24 minutes.
From Dust est si hybride dans sa forme… Parvenez-vous vous-mêmes à définir une telle œuvre ?
Michel Van der Aa : Oh mon dieu, c’est difficile à expliquer de manière simple (rires) ! Disons que c’est un voyage musical de 24 minutes que chaque spectateur va faire et avec lequel il va interagir. C’est un opéra dont la musique est le fil conducteur. L’idée est d’être dans une ambiance onirique basée sur votre contribution et les choix que vous allez faire pendant l’œuvre. Pendant cette expérience, vous allez tout d’abord rencontrer Viola, votre partenaire de voyage. Elle va vous emmener à travers cinq univers, à la rencontre de différents personnages basés sur les chanteuses de l’ensemble vocal Sjaella!
Le titre : From Dust, littéralement « Issu(e) de la poussière », souligne notre appartenance à un ensemble. Notre essence est la même, nous faisons partie d’un tout. D’où l’idée de représenter visuellement toutes ces particules, qui constituent cet univers et qui ne cessent de modeler et bouleverser les paysages et les personnages. From Dust (à ce sujet, lire le 51e numéro de notre newsletter éditoriale, ndlr), c’est un monde très fluide dans le sens où l’on peut décider ce que l’on va voir, où beaucoup de choses peuvent être touchées et manipulées avec votre main, où l’expérience se fait en vue à la première personne. L’idée est de rappeler que d’un seul geste vous pouvez transformer votre vie, qu’il est possible de façonner votre identité et votre monde. From Dust n’a pas d’histoire narrative dans le sens classique, c’est plutôt une expérience poétique, un voyage intime et spirituel.
Vous dites que les personnages de From Dust sont inspirés des chanteuses du groupe allemand Sjaella. Comment avez-vous procédé ?
Michel Van der Aa : Je voulais une performance qui nous touche vraiment en tant que spectateur ; pour cela, les personnages devaient avoir une épaisseur, une réalité. Avec mon équipe, on a fait un an de recherches afin de trouver la bonne texture visuelle. On a essayé plusieurs choses : tout d’abord, la vidéo volumétrique, c’est-à-dire qu’on a filmé les chanteuses avec une dizaine de caméras enregistrant simultanément les artistes sous différents angles. Cela donne une vidéo en trois dimensions, l’image devient immersive.
Puis, nous avons essayé le modeling, ou modélisation 3D, dont le principe est de créer un objet ou un humain de A à Z, et non pas de partir du réel. Hélas, j’ai trouvé que le résultat faisait trop « jeu vidéo ». Par la suite, un de mes développeurs a eu la brillante idée d’intégrer du shader à la vidéo volumétrique. Le shader permet de donner de la texture aux personnages, ce côté brillant perceptible durant l’expérience.
« Le squelette de l’opéra reste toujours le même, il est pré-créé de sorte à ce que chaque décision en amène à une autre. Tout est pré-écrit. »
En fin de compte, on a filmé les chanteuses, leurs visages et leurs gestes, ce qui nous a constitué une base de données en 3D. On a ajusté la vidéo pour qu’elle s’adapte à nos modèles 3D, puis on a mis les shaders. C’est comme ça que les personnages sont devenus interactifs, au point de pouvoir les toucher et de les regarder droit dans les yeux, même quand vous bougez. Ils savent où vous vous situez dans l’espace ; c’est vraiment un spectacle interactif. Une spectatrice rencontrée en Corée du Sud m’a d’ailleurs confiée qu’elle avait été très intimidée et impressionnée par ce contact visuel permanent !
Avant de commencer le voyage immersif, vous précisez que « l’expérience sera faite sur mesure pour chaque personne de l’audience ». Comment est-ce possible ?
Michel Van der Aa : Nous avons conçu cet opéra en réalité virtuelle comme un voyage qui est différent pour chaque personne. Selon votre onboarding, c’est-à-dire selon vos choix lors de vos premiers pas dans la VR, vous n’aurez pas le même voyage. Mais attention, les choix ne sont pas infinis, nous avons travaillé à partir d’un arbre des décisions. On pré-programme douze chemins possibles. Il y a donc douze manières d’aborder ces univers et douze musiques légèrement différentes. Le squelette de l’opéra reste toujours le même, il est pré-créé de sorte à ce que chaque décision en amène à une autre. Tout est pré-écrit. Aussi, nous avons utilisé l’IA générative, une intelligence artificielle qui produit du contenu original. Cela fait de cette expérience poétique un voyage vraiment unique ; mais attention, cette IA n’intervient que dans trois ou quatre endroits de la pièce.
« Composer de la musique est pour moi une seconde nature ; pour l’instant l’IA ne m’apporte rien. »
Comment l’IA intervient-elle ?
Michel Van der Aa : L’IA générative se déclenche dans la création de certains environnements. Mais je ne l’utilise pas pour la composition musicale. Composer de la musique est pour moi une seconde nature ; pour l’instant l’IA ne m’apporte rien. Je ne dis pas que je ne vais jamais l’utiliser. À un moment ça pourra peut-être m’être utile. Mais j’adore les claviers analogiques et la relation tactile que j’ai avec ces instruments. Je ne veux pas être derrière un ordinateur toute la journée à faire glisser des lignes musicales d’un côté et de l’autre. J’essaye de me tenir éloigné autant que je peux d’un ordinateur.
Il est impossible de prévoir ce que va produire l’IA générative. Vous n’avez pas peur de ce que peut générer l’IA, de l’aspect hasardeux de ce qu’elle va produire et qui pourrait nuire à la beauté de l’œuvre ?
Michel Van der Aa : C’est une très bonne question. Pour pallier ce problème, nous avons justement créé nos propres modèles d’IA que nous faisons tourner sur nos serveurs pour pouvoir maitriser la qualité de ce qu’elle va générer.
L’IA peut être vue comme une menace aux yeux des artistes, comme un outil qui pourrait à terme les remplacer. Comment percevez-vous l’utilisation de l’IA au sein de la création artistique ?
Michel Van der Aa : L’arrivée de l’IA est certes un grand bouleversement, mais il y en a déjà eu plein auparavant, notamment dans mon métier. En composition musicale, on travaille aujourd’hui avec des ordinateurs et des processeurs, et il y a toujours plus de nouveaux programmes et de séquenceurs. Bach et Mozart ont écrit des morceaux sans ordinateur et sans IA, et leurs œuvres sont bien plus brillantes que celles que j’écris moi avec des ordinateurs… Ce qui revient à dire que le progrès technique n’est pas toujours un indicateur de qualité artistique. Surtout, je trouve qu’il faut s’en tenir à sa vérité intérieure et aux histoires qui nous tiennent à cœur. Donc non, je n’ai vraiment pas peur qu’on soit remplacé par la technologie !
Vous composez et vous réalisez les univers de vos œuvres. Est-ce que vous codez également ?
Michel Van der Aa : Non je ne code pas, mais je suis un grand passionné de technologie. On peut même dire que je suis un geek ! Je me tiens au courant de toutes les nouveautés. Comme je suis quelqu’un de très sensible aux images, je donne beaucoup d’indications visuelles, de lumière dans mes partitions. C’est quelque chose que j’ai toujours fait, beaucoup plus que mes collègues.
Avec le temps, je me suis rendu compte que j’étais frustré de n’exprimer mes idées qu’à travers la musique. J’ai donc décidé il y a quelques années de faire une pause dans ma carrière de compositeur et d’aller étudier la réalisation et le cinéma à New York. À partir de ce moment-là, j’ai intégré des films et des vidéos dans mes opéras. La technologie m’a permis de mettre en dialogue mise en scène, vidéo et musique. Ça serait très artificiel pour moi de ne pas utiliser toutes ces possibilités sur scène.
En revanche, quand une œuvre se dessine peu à peu dans mon esprit, je ne commence jamais en pensant à l’utilisation de la technologie. Ce qui prime, c’est l’idée de la musique et l’histoire que je veux raconter. Ce n’est que dans un second temps que je m’interroge sur les moyens techniques dont j’ai besoin pour amener mon projet vers les spectateurs. Vais-je utiliser un quatuor à cordes, la réalité virtuelle, un mur LED ?
« Beaucoup de personnes qui ne se croiseraient pas habituellement se retrouvent autour de mes créations. C’est une merveilleuse conséquence du mélange entre opéra, vidéo et technologie que je chéris. »
Financer un film est déjà extrêmement compliqué. Comment faites-vous pour produire ces œuvres d’art totale, où musique, vidéo et technologie s’entremêlent ?
Michel Van der Aa : Alors là, c’est le gros problème (rires) ! Nous avons beaucoup de personnes qui veulent travailler avec nous et lorsqu’on leur dit combien ça va leur coûter, ils s’évanouissent ! Par exemple, pour From Dust, il a fallu trente personnes sur le projet, dont dix à plein temps, sur deux ans. Soit trois développeurs, deux designers 3D, un développeur Shader, un développeur de motion capture et une équipe d’enregistrement audio…
Quant au financement, il peut venir de clients privés, de commandes nationales ou des bourses. C’est le cas de cet opéra qui existe grâce à la bourse néerlandaise Immerse\Interact qui soutient spécifiquement les créations immersives. Ils ont été très généreux et nous ont beaucoup aidé ; sans eux ça n’aurait pas été possible. Mais dans ce système de bourse, la compétition est rude. En un sens, il faut avoir la chance d’être choisi.
Le public de votre opéra est-il le même que celui d’un opéra classique ?
Michel Van der Aa : Non, pas du tout, et je trouve ça génial ! En plus du public habituel de la création musicale contemporaine, cet opéra a été vu par beaucoup de jeunes gens qui s’intéressent à la réalité virtuelle, à la technologie. Beaucoup de personnes qui ne se croiseraient pas habituellement se retrouvent autour de mes créations. C’est une merveilleuse conséquence du mélange entre opéra, vidéo et technologie que je chéris.
Après ce premier prix cannois, quel est votre prochain projet ?
Michel Van der Aa : Avec mon équipe, nous peaufinons actuellement mon nouvel opéra : Theory of Flames. C’est l’histoire d’une réalisatrice et de son couple. Elle devient complotiste, si bien les deux personnes ne vivent plus au sein de la même réalité. C’est malheureusement une thématique d’actualité… Je voulais parler de la difficulté à maintenir le lien dans un tel contexte.
Sur scène, il y aura, en plus de la scénographie, un plateau de production virtuelle – c’est-à-dire un espace de tournage équipé de technologies immersives. Mon équipe est formidable. Malgré mes idées folles, ils ne disent jamais non. Au contraire, ils expérimentent et recherchent sans cesse de nouvelles possibilités. C’est merveilleux de pouvoir repousser les limites de la création artistique et technologique dans un même élan !
