Doppiare al computer

Come la società Flawless vuole utilizzare il deepfake per adattare i volti degli attori al doppiaggio in altre lingue

L’esplosione dei deepfake, come spesso accade quando si parla delle nuove frontiere di internet, è avvenuta con il porno. Questa tecnologia, che utilizza le potenzialità del machine learning applicandole alle immagini e ai volti, si è diffusa inizialmente con video pornografici in cui ai volti delle pornostar venivano sostituiti quelli di attrici e cantanti famose come Gal Gadot, Scarlett Johansson e Taylor Swift, per poi andare a toccare tantissimi ambiti diversi del mondo visuale. Se ne è parlato per la ricostruzione dei volti degli attori deceduti, per il loro ringiovanimento – dalla Principessa Leila di Carrie Fisher in Rouge One ( Umanità aumentata) a Robert De Niro, Al Pacino e Joe Pesci in The Irishman di Scorsese ( Chi sorveglia i sorveglianti?) – e adesso se ne parla per il doppiaggio, con l’uscita di un video di lancio della società Flawless del regista britannico Scott Mann.


La società Flawless ha lanciato un video che mostra l’adattamento del labiale al doppiaggio, modificando i volti degli attori con il machine learning


Il video, che raccoglie una serie di test sui volti di attori di film celebri come Codice d’onore e Forrest Gump, mostra l’adattamento del labiale da lingua a lingua, con un progetto di graduale abbattimento della differenza di pronuncia tra diverse lingue, in modo che allo spelling del doppiaggio ad esempio italiano corrisponda perfettamente il labiale dell’attore doppiato.


L’attrice Ingvild Delia durante le riprese di Rogue One (2016), truccata per assomigliare a Carrie Fisher in Una nuova speranza (1977) prima della sostituzione dei lineamenti del volto

Certo, a guardare i video test, la ricostruzione del labiale della Flawless – “perfetto”, “impeccabile”, se dovessimo tradurlo in italiano – si annuncia come una rivoluzione ma appare tutt’altro che impeccabile. Per quanto la tecnologia, come sempre quando si parla di mondo digitale, abbia amplissimi margini di miglioramento, e quello che al momento è solo un esperimento possa in effetti in pochi anni diventare una pratica credibile e affidabile, lo straniamento viene piuttosto dal vedere Jack Nicholson e Tom Cruise che parlano francese, Tom Hanks che parla giapponese, Robert De Niro che parla tedesco. Tutto questo, a guardarlo più attentamente, sembra uno sviluppo tecnologico che ha una base teorica radicata su alcuni importanti fraintendimenti che riguardano la sottotitolazione, il doppiaggio, lo spelling, in generale ciò che concerne la lingua nel cinema e nell’audiovisivo.

Uno dei grandi equivoci a supporto della “inutilità” del doppiaggio è la globalizzazione angolofona del cinema. Ci spendiamo per la diffusione e la visione dei film in lingua originale semplicemente perché la maggior parte dei film di cui fruiamo sono il lingua inglese, ma quanto il grande pubblico potrà effettivamente godere di quelle sfumature che l’original sound garantisce quando guarderà film in altre lingue? Siamo in grado di leggere un’espressione, un’intenzione, una sfumatura vocale dell’attore perché quell’attore parla una lingua a noi vicina, di cui tutti bene o male mastichiamo qualche parola – per conoscenza dell’inglese o per la sua diffusione endemica in tutti i settori culturali. Ma quando si parla di cinema altro? Cinema arabo o sudcoreano, cinema africano o sudamericano? Cambiano non soltanto le lingue, cambia la modalità stessa del parlare, il tono della voce che comunica una certa intenzione, cambiano le sfumature culturali appunto, che se possono essere lette in prodotti del mondo occidentale (in film francesi, britannici, tedeschi) si perdono inevitabilmente quando ci allontaniamo dallo spettro (pur ampio) dell’Occidente anglofono.


Il video di presentazione del progetto di doppiaggio internazionale di Flawless

Il che significa che, come in ogni traduzione, c’è una parte di livellamento dell’opera, un appiattimento purtroppo necessario a rendere quell’opera fruibile ad un pubblico culturalmente lontano, eppure questo accade in tutte le altre arti, e difficilmente troviamo la stessa acrimonia nei confronti, ad esempio, dei traduttori letterari, e non è mai capitato che si sollevassero polemiche per il fatto che l’ultimo testo di Murakami o di Carrère fosse stato tradotto. Qui, in un equivoco che chiude il suo cerchio, Scott Mann promuove con convinzione questo stesso appiattimento, parlando di «rivoluziona il cinema internazionale». Scrive Andrea Nepori su Repubblica:

La startup basa il suo sistema su una tecnologia sviluppata da alcuni ricercatori del Max Planck Institute, in Germania, ottimizzata per “preservare lo stile” del soggetto che parla: all’algoritmo di Flawless bastano pochi minuti di girato dell’attore per sviluppare un modello del suo volto, analizzando la posizione delle labbra e della testa e il movimento degli occhi. Una volta integrati i dialoghi tradotti e recitati, il sistema modifica sulla base della voce del doppiatore il volto dell’attore, mantenendo inalterati tutti gli altri elementi dell’inquadratura.
Mann dice che […] il sistema ha il potenziale di rivoluzionare il cinema internazionale, rendendo superflua la pratica del “re-making” in inglese di film in lingua straniera, offrendo un modo per esportare e localizzare direttamente l’originale e fare conoscere attori che recitano in tante lingue diverse.

Che modificare il labiale di un attore e soprattutto la lingua dei parlanti sia un modo di «preservare lo stile» restituisce l’idea di fondo di Mann, che non vede, in questa modifica morfologica dei volti e dell’immagine stessa, l’umiliazione del prodotto cinematografico (nonché delle interpretazioni degli attori). Il doppiaggio è una trasformazione verbale da una lingua ad un’altra e una traduzione culturale da un contesto ad un altro, per meglio veicolare i contenuti di un medium visuale come il cinema, ma lo spettatore sa che il film è in un’altra lingua, lo spettatore sa che la voce che sente non è quella dell’attore. Il fuori sincrono, la differenza tra suono e labiale, è l’artificio manifesto che rende visibile il meccanismo di adattamento del film stesso da una lingua all’altra. E così è giusto che sia, perché persino in questo livellamento, la distanza tra parole e labiale racconta la ricchezza, la sottolinea, spinge piuttosto uno spettatore a imparare le sfumature della lingua che non è sua, a scoprire effettivamente le parole pronunciate, ad andare oltre la fruizione del film stesso. Jack Nicholson e Tom Cruise non parlano francese, Tom Hanks non parla giapponese, Robert De Niro non parla tedesco: gli spettatori lo sanno, e modificarne i volti, fingere in maniera così plateale in semplice favore della fruizione non farebbe altro che aggiungere artificio all’artificio, facendo scomparire, invece che esaltare, questa ricchezza.