En , 15 — pseudonyme d’une personne menant des recherches en intelligence artificielle au Massachusetts Institute of Technology (MIT) et à l’origine du projet de recherche non commercial consacré à la synthèse vocale fondée sur l’intelligence artificielle générative, 15.ai — découvre que l’entreprise technologique fondée sur la blockchain, Voiceverse, a plagié des éléments de sa plateforme. Voiceverse se présente alors comme un service proposant une technologie de clonage vocal par intelligence artificielle pouvant être achetée et échangée sous forme de jetons non fongibles (NFT).

Dans un contexte de controverse accrue autour des NFT dans l’industrie vidéoludique, l’acteur de doublage Troy Baker — décrit comme l’un des plus célèbres acteurs de doublage de jeux vidéo — annonce son partenariat avec Voiceverse le . L’annonce suscite immédiatement une vive opposition, nourrie par les inquiétudes relatives à l’impact environnemental des NFT, à leur potentiel de fraude, à la et au risque que l’intelligence artificielle ne remplace des acteurs de doublage humains. Plus tard dans la journée, 15 révèle, à l’aide de journaux de serveur, que Voiceverse a généré des répliques vocales à l’aide de la plateforme gratuite de synthèse vocale à partir de textes de 15, en a modifié la hauteur tonale afin de les rendre méconnaissables et a ensuite présenté à tort ces extraits comme issus de sa propre technologie avant de les vendre sous forme de NFT. Moins d’une heure après la présentation des preuves, Voiceverse reconnaît les faits et déclare que son équipe marketing a utilisé 15.ai sans attribution correcte, dans sa hâte de produire une coïncidant avec l’annonce du partenariat de Baker, ce qui aggrave encore l’accueil déjà négatif réservé à celle-ci. En réponse, 15 écrit « Va te faire foutre » ; l’échange devient et suscite un large soutien à la personne à l’origine de 15.ai. Les médias qualifient unanimement l’incident de « vol » commis par Voiceverse au détriment de 15.ai.

Le lendemain, Baker participe à un podcast et affirme avoir voulu aider les créateurs indépendants qui ne peuvent pas financer les services d’acteurs de doublage professionnels. Face à la persistance des critiques et à la révélation du plagiat, il met fin à son partenariat avec Voiceverse le . Par la suite, l’incident est recensé dans plusieurs bases de données consacrées à l’éthique de l’intelligence artificielle, dans des travaux critiquant la monétisation prédatrice des jeux vidéo et dans des rétrospectives, où il est présenté comme l’un des premiers cas de plagiat et de vol liés à l’intelligence artificielle durant l’essor de l’intelligence artificielle. Après le dépôt de bilan de sa société mère, LOVO, Inc., au titre du , Voiceverse ferme et cesse toute activité le .

Contexte

Troy Baker

Troy Baker est un acteur de doublage de premier plan dans l’industrie vidéoludique, surtout connu pour son interprétation de Joel Miller dans la franchise The Last of Us. Polygon le décrit comme « omniprésent », Eurogamer comme « l’un des acteurs de doublage de jeux vidéo les plus en vue et les plus prolifiques », et GameGuru comme « sans doute l’acteur de doublage le plus célèbre de l’industrie vidéoludique ». Parmi ses autres rôles notables figurent l’agent John « Jonesy » Jones dans Fortnite, dans BioShock Infinite, ainsi que Batman et le Joker dans plusieurs jeux vidéo Batman. En , Baker détient le record du plus grand nombre de nominations dans une catégorie d’interprétation aux BAFTA Games Awards, avec cinq nominations entre 2013 et 2021.

Voiceverse Voiceverse est une jeune entreprise fondée sur la blockchain et créée par le Bored Ape Yacht Club, qui affirme proposer une technologie de clonage vocal par intelligence artificielle sous forme de NFT. Avant l’annonce de son partenariat avec Baker, Voiceverse s’était associée à LOVO, Inc., une plateforme vocale fondée sur l’intelligence artificielle qui pouvait, selon LOVO, produire des voix semblables à celles d’êtres humains. Voiceverse déclare que tout utilisateur achetant un NFT vocal bénéficie d’un accès illimité et perpétuel au modèle de voix, lequel peut servir à créer des contenus tels que des livres audio, des vidéos YouTube, des podcasts, des supports d’apprentissage en ligne, des conversations vocales intégrées à des jeux et des appels Zoom. Voiceverse promet aux acheteurs qu’ils « POSSÉDERONT [sic] l’intégralité de la propriété intellectuelle » des contenus créés au moyen de ces voix. Sa feuille de route prévoit la mise en vente initiale de NFT vocaux, une fonction permettant d’ajouter des émotions aux voix existantes et la possibilité, pour les utilisateurs, de créer eux-mêmes des NFT à partir de leur propre voix. Avant le partenariat de Baker, Voiceverse s’était également associée aux acteurs de doublage , voix de dans Overwatch, et , de .

15.ai

15.ai est une application web gratuite lancée en 2020, qui utilise l’intelligence artificielle pour produire, par synthèse vocale à partir de texte, les voix de personnages fictifs issus de la culture populaire. Créée par une personne menant des recherches en intelligence artificielle sous le pseudonyme de 15 (ingénieur logiciel)15, qui a commencé à développer cette technologie durant sa première année d’études dans le cadre de ses recherches de premier cycle au MIT, l’application constitue un exemple précoce d’application de l’intelligence artificielle générative aux débuts de l’essor de l’intelligence artificielle. La plateforme montre que des réseaux neuronaux profonds peuvent produire une parole émotionnellement expressive à partir de seulement d’enregistrement vocal ; le nom « 15.ai » renvoie à l’affirmation de la personne à l’origine du service selon laquelle une voix peut être clonée de façon convaincante avec seulement d’enregistrement, au lieu des dizaines d’heures de données auparavant nécessaires. 15.ai devient un phénomène Internet au début de 2021, lorsque des contenus qui l’utilisent deviennent viraux sur les médias sociaux et se répandent rapidement dans diverses communautés de fans en ligne. 15 souligne que le service doit rester gratuit et non commercial ; la seule exigence imposée aux utilisateurs est de le créditer correctement lorsqu’ils l’emploient pour créer du contenu.

Les NFT dans l’industrie vidéoludique

Au début de 2022, les NFT sont devenus très controversés dans l’industrie vidéoludique. Leurs détracteurs s’inquiètent de leur impact environnemental, dû à l’importante consommation d’énergie de la technologie blockchain. La fréquence des escroqueries, des fraudes et du possible blanchiment d’argent liés à la vente de NFT, ainsi que la crainte que ceux-ci constituent une nouvelle forme de après la multiplication des boîtes à butin, suscitent également une vive opposition de la communauté vidéoludique. Plusieurs grandes entreprises du secteur ont commencé à envisager l’intégration de NFT à leurs produits, mais la réaction des fans a déjà entraîné l’annulation de certains projets. Le 16 décembre 2021, les développeurs de S.T.A.L.K.E.R. 2: Heart of Chernobyl annoncent l’ajout de NFT au jeu, avant d’y renoncer moins d’une heure après l’annonce en raison d’une opposition immédiate et unanime. Parallèlement, l’essor des technologies vocales fondées sur l’intelligence artificielle fait craindre aux acteurs de doublage des suppressions d’emplois et une dévalorisation de leur travail, alors que le secteur lutte déjà pour obtenir de meilleures rémunérations et conditions de travail.

Annonce du partenariat et réactions négatives

Le à 1 h 02, heure normale de l’Est (HNE), Baker annonce sur Twitter qu’il s’associe à Voiceverse afin d’« explorer comment, ensemble, nous pourrions fournir de nouveaux outils à de nouveaux créateurs pour produire de nouvelles choses, et donner à chacun la possibilité de détenir les droits de propriété intellectuelle qu’il crée et d’investir dans ces droits ». Il conclut par la formule : « Vous pouvez choisir de détester. Ou de créer. » Le rôle précis de Baker au sein de Voiceverse demeure alors indéterminé.

En parallèle de l’annonce de Baker, Voiceverse promeut sur Twitter sa prétendue technologie vocale fondée sur l’intelligence artificielle en publiant des vidéos animées mettant en scène un personnage de chat créé par l’entreprise de NFT Chubbiverse. Les vidéos s’achèvent sur la mention « The Voice Powered By Voiceverse » (« La voix propulsée par Voiceverse »). Voiceverse affirme sur Twitter que les voix des animations ont été produites par sa propre technologie de synthèse vocale par intelligence artificielle et présente les vidéos comme une des capacités de ses NFT vocaux.

L’annonce provoque une réaction négative immédiate et généralisée de la communauté vidéoludique. Le tweet de Baker reçoit des milliers de réponses et de retweets avec commentaire, dont l’immense majorité est négative, bien davantage que de mentions « J’aime ». Michael McWhertor, de Polygon, y voit un « exemple classique de » et estime que la dernière partie de l’annonce a amplifié les réactions. Michael Beckwith, de Metro, qualifie l’approche de Baker d’« étrangement agressive ».

Plus tard dans la journée, Baker répond aux critiques en présentant ses excuses pour le choix de ses mots. Il dit apprécier les avis exprimés et reconnaît que « le passage « détester/créer » était peut-être un peu antagoniste », qu’il qualifie de « mauvaise tentative d’apporter une touche de légèreté ». Malgré ces excuses, Baker et les autres acteurs de doublage associés à Voiceverse ne prennent pas encore leurs distances avec l’entreprise. Dans le même temps, Voiceverse tente de répondre aux critiques en déclarant travailler à l’adoption d’une technologie blockchain plus respectueuse de l’environnement et en affirmant que les acteurs de doublage percevront des redevances sur les ventes de NFT et profiteront de toute hausse de leur valeur.

Révélation du plagiat

{ "character": "Twilight Sparkle", "text": "Hi Frens! We giggle in the Chubbiverse, we eat jpegs and fast foods, then we vomit memes and fart rainbows.", "ip": [REDACTED], "timestamp": "2022-01-04T02:20:01.651Z"

"character": "Rainbow Dash", "text": "Hi Frens! i got an alpha drop for you?!? I am made with love and my voice is ai! Yeah for real lets build the chubbiverse - reply below and comment alpha.", "ip": [REDACTED], "timestamp": "2022-01-04T08:16:16.664Z" } Extrait des fichiers journaux publiés par 15, montrant que Voiceverse avait utilisé 15.ai pour générer les voix de Twilight Sparkle et Rainbow Dash, avec des textes correspondant à ceux de la vidéo promotionnelle de Chubbiverse Le , alors que les réactions du grand public à l’égard des NFT deviennent de plus en plus négatives, la personne à l’origine de 15.ai, connue sous le pseudonyme de 15, annonce n’avoir « aucun intérêt à intégrer des NFT dans quelque aspect que ce soit de [son] travail ».

Le à 11 h 17 HNE, soit dix heures après l’annonce initiale de Baker, 15 commente le projet Voiceverse en déclarant qu’il « ressemble à une escroquerie ». Deux heures plus tard, à 13 h 20, 15 accuse explicitement Voiceverse de « chercher activement à s’approprier [son] travail à son propre profit ». 15 fournit comme preuve des montrant que les voix dont Voiceverse revendique la création ont en réalité été produites par 15.ai. Les journaux, qui détaillent des échanges du serveur correspondant exactement à ceux de la vidéo de Voiceverse, prouvent que l’entreprise a utilisé 15.ai pour créer les extraits vocaux qu’elle présentait comme issus de sa propre technologie. Les vidéos promotionnelles de Chubbiverse comportent des voix déformées de personnages de la série télévisée d’animation My Little Pony: Friendship Is Magic. Les répliques vocales sont ensuite vendues sous forme de NFT, en violation des conditions générales d’utilisation de 15.ai, qui interdisent explicitement l’usage commercial et exigent une attribution correcte.