Cinéma et Deepfake : zoom sur la synchronisation des lèvres avec le doublage en langue étrangère

Le deepfake est une technique reposant sur l’intelligence artificielle qui permet de superposer des fichiers audio ou vidéos sur d’autres fichiers déjà existants pour reproduire la voix d’une personne ou de changer son visage et donc faire en sorte de lui faire dire des propos ou faire des actions que ces individus n’ont jamais fait. Cette technologie est souvent utilisée pour créer des canulars ou pour faire en sorte de véhiculer des fake news. Toutefois, elle pourrait être utilisée dans le cinéma à bon escient pour le doublage des acteurs dans plusieurs langues.

Un logiciel d’IA pour contourner les problèmes de doublage et d’articulation des lèvres

Habituellement, le deepfake est utilisé pour modifier les traits du visage, les gestes ou la voix d’une personne dans une image ou une vidéo, dans le but de lui faire dire quelque chose qu’elle n’a jamais dit ou jamais fait en réalité. Si cette pratique est en réalité associée aux intox et aux memes internet, elle pourrait être, à terme, utilisée pour le cinéma pour permettre un doublage plus réaliste et facile à réaliser.

La société britannique Flawless a annoncé le développement d’un logiciel, intitulé TrueSync qui permet d’analyser les schémas faciaux des acteurs et de les modifier afin qu’ils puissent s’intégrer dans la vocalisation d’une autre langue. Pour être plus précis : un des problèmes récurrents du doublage consiste à faire en sorte que les paroles dans la langue doublée puissent coller avec le mouvement des lèvres. Une difficulté que les experts en IA de la firme britannique souhaitent atténuer.

I added a video to a @YouTube playlist https://t.co/fiygt0y2OC How to Paint a Guitar With Metal Flake

— tony rodriguez Tue May 16 19:26:25 +0000 2017

C’est ce qu’explique Scott Mann, un des réalisateurs qui a décidé d’exploiter la technologie de Flawless :

Le deepfake, une pratique utile dans certaines circonstances, sujet aux questions éthiques

TrueSync permet une synchronisation réaliste en adaptant le mouvement de la bouche et des lèvres des acteurs originaux à l’articulation que l’on peut retrouver dans plusieurs langues étrangères. Il y a quelques semaines, Flawless a publié une vidéo où l’on pouvait voir certains résultats de l’utilisation de l’outil pour doubler des films avec des acteurs célèbres comme Robert de Niro, Tom Hanks, Jack Nicholson ou encore Tom Cruise.

Toutefois, l’utilisation d’un logiciel comme celui-ci présente plusieurs problématiques d’ordre éthique notamment. Certains professionnels ont noté que si le logiciel tombait entre de mauvaises mains, il pourrait être exploité pour commettre des délits. De plus, il faut aussi partir du principe que les acteurs doivent accepter que leurs lèvres (et donc une partie de leur corps) soient modifiées pour faciliter les doublages dans les autres langues.

Plusieurs interrogations qui vont sans douter faire repousser l’utilisation future et massive des techniques deepfakes dans le cinéma.