Création sonore, audiovisuelle, interactive, générative, VR ou fulldome : l’offre des logiciels dédiés à la création numérique est dense et crée parfois la confusion. À la tête de Structure Void, organisme de formation basé à Marseille, Julien Bayle, artiste-formateur certifié par Ableton, nous éclaire sur quelques logiciels à disposition sur le marché. Quels sont leurs usages ? Quel est le background nécessaire pour une prise en main ? Éléments de réponse.
De quoi parle-t-on quand on évoque la création immersive ?
Julien Bayle : La création immersive est plurielle, et il est difficile de parler de formes ou d’esthétique. Les œuvres immersives ont néanmoins un point commun : elles sollicitent nos sens. Dans un dôme à 360°, sur une scène, dans l’espace public ou dans un espace virtuel, l’idée est d’immerger le public dans une expérience artistique.
De quelle manière l’évolution des logiciels est-elle représentative de la création ?
Julien Bayle : L’immersion me semble possible à partir du moment où la générativité et le temps réel sont convoqués. Générer du son, des séquences visuelles se raccrochant à une ligne de temps plus ou moins prévue, mais en temps réel, permet une véritable expérience à chaque fois unique. Aujourd’hui, les artistes conçoivent des œuvres qui régissent à un environnement. Tout ce qui concerne le « physical computing » – Arduino et Raspberry – permet ainsi d’injecter des données de l’environnement réel dans le système qui génère l’expérience. La notion de génération en temps réel est prépondérante. C’est une évolution vraiment marquée. On n’est plus dans une texture vidéo prégénérée en studio et que l’on rejouerait simplement. Par exemple, TouchDesigner, moteur temps réel dérivé de l’environnement de création visuelle Houdini, permet la génération de visuel en interaction avec le son, ou avec des données des capteurs. À l’origine, Houdini n’était pas conçu pour du temps réel.
Aussi, les moteurs de jeu comme Unity ou Unreal se sont améliorés et les ordinateurs sont désormais tellement puissants qu’ils permettent de générer image et son en temps réel en ingurgitant un nombre phénoménal de paramètres. D’autant que ces moteurs permettent d’interfacer Max (anciennement Max MSP, ndlr) ou Ableton Live, deux logiciels phares de la création numérique. Beaucoup de voies convergent vers ces moteurs là. D’ailleurs, les artistes visuels et sonores s’en emparent toujours plus.
Concrètement, faut-il être un codeur pour prendre en main ces logiciels ?
Julien Bayle : Les moteurs Unreal et Unity demandent des connaissances en codage et du temps de prise en main. À l’inverse, Max ou TouchDesigner sont basés sur un paradigme visuel totalement différent et permettent, si on le souhaite, de créer sans écrire une seule ligne de code. Avec le temps, l’ergonomie sera certainement simplifiée sur tous ces environnements. Cependant quand on veut créer une oeuvre, il faut pouvoir maîtriser ces différents environnements et chacune des briques demandent quand même un certain niveau de technicité. Il faut aussi savoir relier toutes ces briques. Avoir les compétences qui relient ces pièces est indispensable. Et ce n’est pas chose aisée. C’est la définition du creative technologist et du codeur créatif, qui fait non seulement la jonction entre la technique, l’expérimentation et la conception.
« Générer du son, des séquences visuelles se raccrochant à une ligne de temps plus ou moins prévue, mais en temps réel, permet une véritable expérience à chaque fois unique. »
La vraie question est : existe-t-il une boîte à outils idéale ?
Julien Bayle : La première étape est de se questionner sur les modalités à convoquer. Autrement dit, la question est de savoir ce que l’on veut faire et ensuite de chercher à comment le faire. Pour donner un exemple simple, une œuvre numérique peut intégrer des visuels, du son spatialisé et un dispositif de capteurs. Ces trois composantes représentent une part importante de la création immersive. Le point de convergence est souvent Max, un environnement de programmation notamment capable de gérer tout l’aspect sonore et musical, ou TouchDesigner qui peut être son pendant sur de grosses installations ou setup de performances.
Avec Max on va pouvoir enregistrer du son, enregistrer des données, implémenter des librairies d’analyses très poussées. Ensuite, si on souhaite générer du son génératif, je m’orienterais spontanément vers Max for Live (intégration de Max dans Ableton Live) ou Ableton Live directement. Pour la partie déportée, je conseille de manipuler Raspberry et Arduino, que l’on peut aisément connecter à Max et TouchDesigner. Ce sont les points de contact avec le monde physique pour capter des données et enrichir les expériences en générant une matière audiovisuelle sensible à l’environnement – ce que Tom Igoe, en 2004, appelle le « physical computing ».
« Il est intéressant de voir que l’on peut faire produire du code à certaines IA. C’est assez propre et clair. »
Pour moi, ces quelques logiciels sont la base de la création immersive, même s’il existe des dizaines d’autres logiciels spécifiques. Processing est toujours très utilisé dans la création visuelle, pour ce qui concerne le graphisme procédural notamment. Il existe aussi beaucoup de solutions intégrées pour les créations de type mapping visuel, ou fulldome (comme Modul8 ou Madmapper), même si Touchdesigner permet de gérer cela de manière native aussi.
Les logiciels cités sont pour la plupart des logiciels propriétaires. Est-ce un problème ?
Julien Bayle : La plupart des éditeurs de logiciels ne publient pas leur code source, mais offrent tout de même une vraie ouverture auprès de la communauté. Une grande partie des logiciels sont modifiables et customisables. Pour ces entreprises, la stratégie commerciale est tout de même basée sur le partage de la connaissance et l’écoute de la communauté créative. Par exemple, Cycling 74, éditeur de Max, a créé le sous-environnement RNBO. C’est un environnement propriétaire, certes, mais qui permet une totale ouverture par la conversion, l’export des patches en codes sources. Un programme propriétaire nous laisse produire du code source dont nous pouvons totalement disposer comme nous le souhaitons. Max s’insère alors encore plus dans l’écosystème très large de la programmation d’application sonore, même hors du domaine purement artistique.
Un mot sur la fulgurante arrivée des IA dans le domaine de la création ?
Julien Bayle : Il est intéressant de voir que l’on peut faire produire du code à certaines IA. C’est assez propre et clair. De là à dire qu’il n’y a qu’un pas pour réaliser un système audiovisuel sans programmation humaine spécifique et sans technicité ? Je ne crois pas encore. Il faudra certainement une compétence humaine pour piloter ces IA et les implémenter dans les logiciels que nous avons évoqués. Mais d’une certaine façon, je ne souhaiterais surtout pas que les compétences des artistes contribuent à cette course à l’innovation. Beaucoup trop de bourses accordées aux artistes leur imposent de devenir innovant d’un point de vue technologique, et non spécifiquement du point de vue artistique.
