Il existe désormais de nombreux outils d’intégration sonore immersive dans des mondes virtuels. Cette intégration pose la question de la plateforme, étant donné la grande variété d’outils disponibles à cet effet. D’ailleurs, lorsqu’on explore ces mondes virtuels associés au métavers, on découvre une partie de ces multiples possibilités. La question fondamentale est la suivante : le développement est-il réalisé à l’aide d’un moteur de jeu vidéo (Unity, Unreal Engine) pour une distribution logicielle ou via la programmation Web pour une distribution plus accessible via le navigateur. Il existe bien entendu d’autres techniques, mais il s’agit globalement des techniques les plus empruntées. Il est pertinent d’explorer quelques métavers variés, pour comprendre ce à quoi l'on cherche à appliquer de l’audio immersif, et plus largement pour constater concrètement quelles formes prennent ces espaces que l’on mentionne depuis longtemps. Ensuite, il deviendra plus cohérent d’étudier certains de ces outils de production sonore immersive, en ayant une idée des supports qui pourraient les intégrer.
Comme il a été constaté dans cette étude, il est difficile de restreindre la définition d’un métavers, pour en avoir une conception précise. Au contraire, les espaces qui répondent supposément à cette catégorie prennent des formes très variées, ce qui rend encore plus délicates les prédictions sur leur possible évolution. Ainsi, il faut le mentionner de nouveau, le format ambisonique est parfaitement adapté à cette situation. En effet, il est non seulement impossible de prédire une plateforme ou une application type du métavers, mais il n’est pas non plus possible d’en extraire un utilisateur classique. Ce domaine attire pour l’instant principalement des personnes aisées, des collectionneurs et des passionnés ; cela ne permet pas d’anticiper quelle sera la population attirée par ces espaces dans le futur. Une adoption massive du métavers aura-t-elle lieu dans un futur plus ou moins proche ? Attirera-t-il d’abord une communauté habituée des jeux vidéos, dans ce cas généralement équipée et habituée au Binaural au casque ? Sinon, quelle sera la proportion non-habituée, équipée d’enceinte(s), ou simplement des haut-parleurs du téléphone ou de la tablette ? Pour répondre à tous ces cas de figure, une production en ambisonique permet une bonne compatibilité monophonique, stéréo, multicanal, Binaural au casque ; si le format ambisonique est bien choisi ! En plus, on peut imaginer dans le futur que ces espaces devront être transportés “dans le physique”, par exemple pour des expositions. Une telle production assure de conserver la composition, et d’adapter seulement le décodage, pour un dispositif multi-enceintes, par exemple (22.2, ou plus ou moins).
Il faut remarquer que l’audio immersif n’est pas (encore) mis en valeur dans ces espaces virtuels. Le seul attrait du Web3 à l’audio est porté sur les NFTs musicaux (les M-NFTs), et étrangement, le métavers emprunte tous les standards du jeu vidéo... sauf le son immersif. Pourtant, certains phénomènes dans ce milieu peuvent laisser penser que cela ne restera pas ainsi.
Philip Rosedale, le fondateur de Linden Lab, la société à l’origine du métavers Second Life, a quitté l’entreprise en 2010, avant d’y retourner en 2022 en tant que conseiller stratégique (strategic advisor). Il a fondé une nouvelle entreprise en 2013 : High Fidelity ; cette dernière a porté son intérêt vers Linden Research en 2022, ce qui justifie son retour. Cette société effectue des recherches dans la réalité virtuelle et l’audio 3D, les environnements graphiques hautement détaillés, les avatars réalistes et l’économie établie sur la blockchain. Sur le site web de l’entreprise, l’accent est porté essentiellement sur l’audio spatial, dans les conversations virtuelles groupées ; une matière cruciale dans un métavers. L’objectif de ce projet est “d'apporter les meilleurs éléments du son du monde réel dans nos vies de plus en plus numériques pour offrir des expériences en ligne plus attrayantes ; de la vidéoconférence aux mondes virtuels, en passant par l'audio social et les jeux multijoueurs”. Ils affirment aussi avoir “commencé à construire le ‘Métavers’”, et avoir pour intention de “délivrer une expérience sonore la plus immersive et naturelle possible”, désormais en “se concentrant essentiellement sur les technologies audio”. Un tel exemple d’entreprise hautement qualifiée, concentrée sur la construction du métavers, principalement par le prisme de l’intégration audio 3D pour délivrer des expériences immersives et engageantes, et très encourageant en ce qui concerne notre démarche. À ma requête de pouvoir expérimenter avec leur service d’intégration sur le web, la Directrice Marketing de l’équipe m’a expliqué qu’ils en étaient aux prémices de cette innovation, en me conseillant d’explorer d’abord une solution proposée par Dolby. Celle solution, en son essence, délivre divers services d’intégration pour développeurs, essentiellement afin d’améliorer la qualité du flux audio, en temps réel ou non, dans leurs applications (expériences sociales, podcast, cours virtuels, téléservices pour la santé, collaboration à distance...). Le lien avec le métavers est évident, en ce qu’il est profondément lié à la digitalisation des expériences de la vie quotidienne. Il suffit de constater la manière dont les interactions ont évolué pendant la pandémie de 2020-2022 et les périodes de confinement ; c’est exactement de cette mutation que les entreprises tournées vers le métavers tirent profit, ici Dolby.io. L’audio immersif de haute qualité semble être une préoccupation pour de multiples entreprises et les projets de salles de réunion virtuelle qui intègrent cette caractéristique sont nombreux. Ils paraissent présenter divers avantages non négligeables : une distinction plus claire entre les participants, répartis sur un champ sonore beaucoup plus large, éventuellement un dispositif de suivi de la tête, si cela présente un intérêt. Aussi, la possibilité de dépasser la vidéo, et de déplacer les appels de groupe dans des petits espaces, dans lesquels les participants peuvent se déplacer, par exemple, pour se rapprocher plus ou moins d’une personne et mieux l’entendre, pour s’isoler... Enfin, la différenciation des sources sonores, lorsqu’elles sont spatialisées, est beaucoup moins fatiguante pour le cerveau. Vraisemblablement, de tels enseignements seront extrêmement pertinents dans le métavers.
La société atmoky concentre aussi son activité sur le développement de l’audio spatial pour les réunions virtuelles, et présente sa solution pour le web comme “le moteur audio pour le métavers”. L’outil permet de positionner les sources autour de l’auditeur, ou dans une salle virtuelle, de paramétrer des ambiances sonores (acoustique, réverbération), et de personnaliser les HRTF.
Un autre exemple caractéristique : le projet Cubemint développé avec la solution Audio Metaverse. Il s’agit d’un monde virtuel sonore en réalité augmentée, lié à la technologie Spatial Audio d’Apple pour les Airpods Pro. L’application associe des espaces réels dans le monde à des cubes virtuels, en trois dimensions, qui proposent une expérience sonore immersive. Les utilisateurs peuvent voyager dans ces espaces, en discutant avec d’autres personnes et des “créatures” peuvent se mouvoir dans ces espaces, les “Cubes”. Ces derniers pourront être créés et échangés sous forme de NFTs. Le fondateur explique que ce métavers répond aussi à un besoin d’accessibilité, pour les personnes malvoyantes par exemple. L’application est pour l’instant disponible sur l’Apple Store.
Du côté de la création musicale, patchXR, “le son du métavers”, permet de créer visuellement de la musique en réalité virtuelle. Les objets sonores sont spatialisés en 3D, le monde virtuel fantastique est interactif et entièrement personnalisable, et permet de construire entièrement des instruments originaux. Les créateurs expliquent que le projet s’adresse aux “débutants comme aux patchers expérimentés en Max MSP ou Pure Data”.
La société MagicBeans développe une plateforme d’intégration sonore immersive dans des expériences virtuelles, Roundhead. Ce moteur audio permettrait aux utilisateurs “d’expérimenter un son volumétrique complet à la maison, sur des appareils quotidiens, et dans des expériences multi-utilisateurs à grande échelle” ; par exemple, en “superposant des sons sur des objets physiques réels”.
On trouve plusieurs mentions de la société Sound Particles dans différents articles. L’outil du même nom est utilisé dans la plupart des films à gros budget, et des jeux vidéo AAA ; son atout est “de pouvoir générer et supporter des milliers (voire des millions) de sons dans un monde virtuel 3D audio”. Ces performances s’expliquent par l’utilisation de techniques de traitements graphiques (les systèmes de particules, particulièrement intensifs) appliquées à l’audio. La solution est disponible pour les principaux formats immersifs, dont le format ambisonique. Parmi les outils proposés par l’entreprise, on remarque le Space Controller Plugin qui permet d’utiliser un protocole OSC pour contrôler la spatialisation avec les détecteurs de mouvement d’un téléphone, et donc simplement en déplaçant le téléphone autour de l’utilisateur pendant la création sonore. La liste des produits vaut le coup d’être explorée, d’autant plus qu’il s’agit d’outils largement utilisés dans l’industrie audiovisuelle à haut budget, et probablement d’un acteur qui prendra part au développement audio immersif dans le métavers.
Mach1 est un exemple de plateforme qui offre une structure pour le développement audio immersif, afin de faciliter l’interaction entre le développeur et le créateur sonore. D’après leur description, il s’agit d’un VVBP (Virtual Vector Based Panning) qui “conserve des pratiques audio professionnelles optimales dans les médias où la qualité du son est essentielle pour maintenir le contrôle créatif et l'immersion”.
En réalité, il existe un bon nombre de plateformes et d’entreprises tournées vers l’intégration de l’audio immersif dans le métavers, et qui cherchent en cet effet à développer ces outils dès aujourd’hui. Surtout, le jeu vidéo nous a déjà offert une structure de travail, les nouvelles conditions sociales pendant la pandémie nous ont permis d’entrevoir un intérêt ; il ne reste plus qu’à éprouver ces techniques dans le nouvel environnement que constitue le métavers. Il faudra avoir une idée précise de sa forme, ou de ses formes, avant de savoir réellement quelles dynamiques pratiques l’audio immersif prendra, à quels problèmes il apportera des solutions et à quel point il pourra améliorer l’expérience de l’utilisateur. Dans tous les cas, il est certain que son utilisation sera cruciale dans ces mondes virtuels, que les outils d’intégration existent, et continuent d’évoluer rapidement, et que les grands acteurs de cette industrie semblent l’avoir remarqué.