De makers van morgen

Deepfakes: verrassende toepassingen van AI-gemanipuleerde video’s

15/03/2023
innovatie

Deepfakes zijn nepvideo’s die bijna niet van echte te onderscheiden zijn. Deepfakes triggeren dan ook – terecht – vragen rond betrouwbaarheid en desinformatie. Onderzoeker Kristin Van Damme toont je echter enkele verrassende, positieve toepassingen.

deepfake-Wim-1080x675.png

De digitale verrijzenis van Elvis in de finale van America’s Got Talent, een opmerkelijke aankondiging van presentator Thomas Vanderveke, zingende Tom Cruise en de gekende waarschuwing van Obama: mogelijk zag je de afgelopen maanden enkele ‘deepfakes’ passeren. 

Deepfakes zijn videobeelden die aan de hand van artificiële intelligentie gemanipuleerd zijn. Dat resulteert in nepvideo’s die bijna niet van echte te onderscheiden zijn. Hierdoor zeggen of doen mensen schijnbaar iets wat ze nooit in werkelijkheid hebben gezegd of gedaan. Deepfakes triggeren dan ook – terecht – vragen rond betrouwbaarheid en desinformatie. Want wat als mensen geen onderscheid meer kunnen maken tussen échte en valse video’s? 

Tegelijk zijn er ook enkele verrassende, positieve toepassingen. Hierbij een overzicht!

1. Parodieën en satire

Vandaag worden deepfakevideo’s vooral gebruikt voor humoristische doeleinden. Gezichten van acteurs worden er aan de hand van ‘face swap’-technologie vervangen door andere gezichten.  

Let op: De konijnenpijp aan hilarische deepfakevideo’s is héél diep en kan leiden tot heel wat kijktijd 😉 

Een van mijn persoonlijke favorieten blijft deze scène van Friends, waarbij alle gezichten van de New Yorkse huisgenoten vervangen worden door het gezicht van Nicolas Cage.

Deze video gaat helemaal mee in de ASMR-trend (wat staat voor ‘autonomous sensory meridian response‘), waarbij alle gezichten vervangen zijn door Snoop Dogg.

2. Overleden personen opnieuw laten leven

Een tweede toepassing is het inzetten van deep learning voor het opnieuw tot leven wekken van overleden personen. Archiefbeelden worden hierbij gebruikt om acteurs het gezicht en de stem te geven. Op het digitaal laten herrijzen van doden brengt natuurlijk ethische vragen met zich mee. Chris Umé (2021) vertelde in zijn gastcollege aan studenten journalistiek dan ook dat hij de nabestaanden van overleden bondscoaches Raymond Goethals en Guy Thys betrok bij de ontwikkeling van het ‘It’s Deviltime!’-filmpje.

De families van de voormalige bondscoaches reageerden met “Ja, zo was hij echt, hé!"
En dan wist ik dat het resultaat goed zat.
Umé, 2021

Naar aanleiding van het Europees kampioenschap mannenvoetbal 2020, werd een video gemaakt waarin voormalige bondscoaches mee supporteren voor de Rode Duivels. Bekijk hier de making of van die video.

Dalí zei ooit: “Si muero, no muero por todo,” or “If I die, I won’t completely die.” En dat nam het Dalí Museum in St. Petersburg, Florida vrij letterlijk. Ze lieten de surrealistische artiest herleven aan de hand van artificiële intelligentie. Bekijk hoe ze dat deden. 

3. Digitale verjonging

Een van de eerste toepassingen van AI-gemanipuleerde beelden is het digitaal verjongen van sterren in films. De zogeheten Digital De-aging Technology laat toe om rimpels weg te werken, maar evengoed acteurs tientallen jaren jonger én ouder te laten worden. Want waarom zou je hopen op een lookalike Samuel L. Jackson voor een nieuwe Captain Marvel-film, als je gewoon kan werken met de échte (Welk, 2019)?   

Voor de film Gemini Man kreeg acteur Will Smith een digitale 23-jaar jongere kloon van zichzelf. Benieuwd hoe dat in z’n werk ging? Ontdek het in deze making-off.

Klinkt digitale verjonging als toekomstmuziek? Think again! Deze video geeft tien voorbeelden van blockbusters die gebruikmaken van digitale verjonging. 

4. Deepfake-anonimisatie

Een van de interessantste toepassingen van deepfaketechnologie vind ik – niet geheel toevallig, gezien mijn achtergrond als journalistiekonderzoeker – het anonimiseren van mensen in videobeelden. Soms willen personen met een persoonlijk of gevoelig verhaal niet herkenbaar in beeld komen en vragen ze om anoniem te kunnen getuigen. Anonimiseren gebeurt vaak door zwarte balkjes of wazig maken, maar daardoor gaan veel details verloren.

Door het inzetten van deepfake om mensen te anonimiseren blijven micro-gelaatsuitdrukkingen zichtbaar, zonder dat de identiteit van personen onthuld wordt. Er wordt in dat geval wel eens gesproken van ‘safe fakes‘ (Klomp et al., 2021).  

Hét schoolvoorbeeld van deepfake-anonimisatie is de documentaire Welcome to Chechnya, een portret van een groep moedige activisten in Tsjetsjenië. Ze nemen ongelooflijke risico’s om de LGBTQ-gemeenschap die onderdrukt wordt, te beschermen (VRT, 2022).

Demo van gener8.ai (een dochterbedrijf van het Gentse ML6) die de anonieme getuigenis van een druggebruiker toont. 

5. Kunstwerken tot leven laten komen

Een vijfde toepassing is het tot  leven laten komen van portretten en schilderijen. Iconische werken worden plots ‘échte’ mensen.

6. Hypergepersonaliseerde avatars

De personages van (online) games zien er steeds realistischer uit. En dankzij deepfaketechnologie kan je jezelf binnenkort ook uploaden. Al kan je nog steeds urenlang je avatar ook tweaken: die keuze ligt helemaal bij jou.  

7. Realistisch dubben van video’s

Ik eindig met wat ik voorspel als de meestgebruikte vorm van deepfakevideo’s: ‘synthetic film dubbing‘ of ‘deepdubbing‘, waarbij personen verschillende talen spreken. Bij AI dubbing leert het neuraal netwerk hoe een gezicht van een acteur beweegt bij bepaalde klanken. Datzelfde neutrale netwerk leert ook hoe de lippen van verschillende personen bewegen die een andere taal spreken. Wanneer het deepdub-algoritme klaar is, kan het gezicht van de originele acteur via lipsyncing aangepast worden aan elke vreemde taal.

Een stap verder gaat het nog wanneer ook de originele stem van de acteur wordt aangepast naar de verschillende talen. In deze teaser van Metaphysics wordt Avicii-hit Wake Me Up gezongen in drie talen: Engels, Chinees en Spaans. Door dezelfde persoon, met dezelfde stem. In dat geval praten we over voice cloning technology (Kite-Powell, 2021). Maar dat brengt ons naar een andere blogpost 😉

Deze video toont het verschil tussen traditioneel dubbel en deepfake dubbing met lipsynctechnologie.

In een campagne om malaria de kop in te drukken, ‘spreekt’ David Beckham negen verschillende talen. Hier hoor je de stem veranderen, maar nog indrukwekkender wordt het wanneer ook de stem van Beckham hoorbaar zou zijn in die verschillende talen. 

Meer weten?

Vanuit Arteveldehogeschool bieden we een workshop aan rond deepfakes. Eerst maak je kennis met synthetische media in een theoretische module. Aansluitend maak je eerst zélf een deepfake om zo beter te begrijpen waar je moet op letten. Nadien vertrekken we van use cases om inzicht te krijgen in de gevaren én mogelijkheden van synthetische media.

Vraag de workshop aan.

Bronnen

Lees ook

Klinisch leiderschap: ‘Nice to have’ of pure noodzaak?

16/04/2024

Door de hervorming van de klinische ladder en de veranderende verantwoordelijkheden binnen verschillende functieprofielen, zijn leiderschapsvaardigheden bij zorgverleners van groot belang. Maar wat maakt klinisch leiderschap zo essentieel? En welke eigenschappen hebben zorgverleners nodig om de uitdagingen van het zorglandschap het hoofd te bieden?

Inclusief digitaal actief: een inspiratiedag vanuit PWO project ‘Digi Act'

28/03/2024

Op 22 februari 2024 kwamen meer dan 120 sociale professionals en hulpverleners samen rond de thema’s “het bevorderen van digitale inclusie voor mensen met een beperking & digitale dagbesteding”. Deze bijeenkomst, georganiseerd door de expertiselijn “Mens, Samenleving en Digitalisering”, zette het resultaat van anderhalf jaar onderzoek in de kijker.

Het leven zoals het is: inspirerend coach

27/03/2024

Trainer Anne Breda blikt terug op een intervisie inspirerend coachen door en voor mensen uit de zorgsector. Een groepje van acht denkt drie uur lang samen na met GRROW als ruggengraat. De conclusie? Dat deze manier van werken toch erg waardevol blijkt.