Deepfakes: verrassende toepassingen van AI-gemanipuleerde video’s

19/10/2022

Post Author

  • Kristin Van Damme

    Onderzoek mét mensen en vóór mensen: dat is mijn job. En dan liefst ook iets journalistiek en innovatie. Ik ben een 'mixed-methods evangelist' en combineer steeds kwalitatief en kwantitatief onderzoek. Kristin Van Damme is senior onderzoeker bij Arteveldehogeschool (expertisenetwerk Communicatie, Media en Design) en projectleider van het Nieuwsbarometeronderzoek. Daarnaast zet ik in op wetenschapscommunicatie. Mijn voornaamste energiebron: goesting in het leven, lachende kinderen en een loopje door het bos.

Deepfakes zijn nepvideo’s die bijna niet van echte te onderscheiden zijn. Deepfakes triggeren dan ook – terecht – vragen rond betrouwbaarheid en desinformatie. Onderzoeker Kristin Van Damme toont je echter enkele verrassende, positieve toepassingen.

De digitale verrijzenis van Elvis in de finale van America’s Got Talent, een opmerkelijke aankondiging van presentator Thomas Vandervekezingende Tom Cruise en de gekende waarschuwing van Obama: mogelijk zag je de afgelopen maanden enkele ‘deepfakes’ passeren. 

Deepfakes zijn videobeelden die aan de hand van artificiële intelligentie gemanipuleerd zijn. Dat resulteert in nepvideo’s die bijna niet van echte te onderscheiden zijn. Hierdoor zeggen of doen mensen schijnbaar iets wat ze nooit in werkelijkheid hebben gezegd of gedaan. Deepfakes triggeren dan ook – terecht – vragen rond betrouwbaarheid en desinformatie. Want wat als mensen geen onderscheid meer kunnen maken tussen échte en valse video’s? 

Tegelijk zijn er ook enkele verrassende, positieve toepassingen. Hierbij een overzicht!

1. Parodieën en satire

Vandaag worden deepfakevideo’s vooral gebruikt voor humoristische doeleinden. Gezichten van acteurs worden er aan de hand van ‘face swap’-technologie vervangen door andere gezichten.  

Let op: De konijnenpijp aan hilarische deepfakevideo’s is héél diep en kan leiden tot heel wat kijktijd 😉 

Een van mijn persoonlijke favorieten blijft deze scène van Friends, waarbij alle gezichten van de New Yorkse huisgenoten vervangen worden door het gezicht van Nicolas Cage.

Deze video gaat helemaal mee in de ASMR-trend (wat staat voor ‘autonomous sensory meridian response‘), waarbij alle gezichten vervangen zijn door Snoop Dogg.

 

2. Overleden personen opnieuw laten leven

Een tweede toepassing is het inzetten van deep learning voor het opnieuw tot leven wekken van overleden personen. Archiefbeelden worden hierbij gebruikt om acteurs het gezicht en de stem te geven. Op het digitaal laten herrijzen van doden brengt natuurlijk ethische vragen met zich mee. Chris Umé (2021) vertelde in zijn gastcollege aan studenten journalistiek dan ook dat hij de nabestaanden van overleden bondscoaches Raymond Goethals en Guy Thys betrok bij de ontwikkeling van het ‘It’s Deviltime!’-filmpje.

De families van de voormalige bondscoaches reageerden met “Ja, zo was hij echt, hé!“.

En dan wist ik dat het resultaat goed zat. (Umé, 2021)

Naar aanleiding van het Europees kampioenschap mannenvoetbal 2020, werd een video gemaakt waarin voormalige bondscoaches mee supporteren voor de Rode Duivels. Bekijk hier de making of van die video.

Dalí zei ooit: “Si muero, no muero por todo,” or “If I die, I won’t completely die.” En dat nam het Dalí Museum in St. Petersburg, Florida vrij letterlijk. Ze lieten de surrealistische artiest herleven aan de hand van artificiële intelligentie. Bekijk hoe ze dat deden. 

3. Digitale verjonging

Een van de eerste toepassingen van AI-gemanipuleerde beelden is het digitaal verjongen van sterren in films. De zogeheten Digital De-aging Technology laat toe om rimpels weg te werken, maar evengoed acteurs tientallen jaren jonger én ouder te laten worden. Want waarom zou je hopen op een lookalike Samuel L. Jackson voor een nieuwe Captain Marvel-film, als je gewoon kan werken met de échte (Welk, 2019)?   

Voor de film Gemini Man kreeg acteur Will Smith een digitale 23-jaar jongere kloon van zichzelf. Benieuwd hoe dat in z’n werk ging? Ontdek het in deze making-off.

 

Klinkt digitale verjonging als toekomstmuziek? Think again! Deze video geeft tien voorbeelden van blockbusters die gebruikmaken van digitale verjonging. 

4. Deepfake-anonimisatie

Een van de interessantste toepassingen van deepfaketechnologie vind ik – niet geheel toevallig, gezien mijn achtergrond als journalistiekonderzoeker – het anonimiseren van mensen in videobeelden. Soms willen personen met een persoonlijk of gevoelig verhaal niet herkenbaar in beeld komen en vragen ze om anoniem te kunnen getuigen. Anonimiseren gebeurt vaak door zwarte balkjes of wazig maken, maar daardoor gaan veel details verloren.

Door het inzetten van deepfake om mensen te anonimiseren blijven micro-gelaatsuitdrukkingen zichtbaar, zonder dat de identiteit van personen onthuld wordt. Er wordt in dat geval wel eens gesproken van ‘safe fakes‘ (Klomp et al., 2021).  

Hét schoolvoorbeeld van deepfake-anonimisatie is de documentaire Welcome to Chechnya, een portret van een groep moedige activisten in Tsjetsjenië. Ze nemen ongelooflijke risico’s om de LGBTQ-gemeenschap die onderdrukt wordt, te beschermen (VRT, 2022).

Demo van gener8.ai (een dochterbedrijf van het Gentse ML6) die de anonieme getuigenis van een druggebruiker toont. 

5. Kunstwerken tot leven laten komen

Een vijfde toepassing is het tot  leven laten komen van portretten en schilderijen. Iconische werken worden plots ‘échte’ mensen.

6. Hypergepersonaliseerde avatars

De personages van (online) games zien er steeds realistischer uit. En dankzij deepfaketechnologie kan je jezelf binnenkort ook uploaden. Al kan je nog steeds urenlang je avatar ook tweaken: die keuze ligt helemaal bij jou.  

Dezelfde technologie kan ook gebruikt worden voor je zoom- en MS Teamsvergaderingen: softwarepakket Oasis gebruikt deze technologie om ‘op autopiloot’ aan online vergaderingen deel te nemen. 

7. Realistisch dubben van video’s

Ik eindig met wat ik voorspel als de meestgebruikte vorm van deepfakevideo’s: ‘synthetic film dubbing‘ of ‘deepdubbing‘, waarbij personen verschillende talen spreken. Bij AI dubbing leert het neuraal netwerk hoe een gezicht van een acteur beweegt bij bepaalde klanken. Datzelfde neutrale netwerk leert ook hoe de lippen van verschillende personen bewegen die een andere taal spreken. Wanneer het deepdub-algoritme klaar is, kan het gezicht van de originele acteur via lipsyncing aangepast worden aan elke vreemde taal.

Een stap verder gaat het nog wanneer ook de originele stem van de acteur wordt aangepast naar de verschillende talen. In deze teaser van Metaphysics wordt Avicii-hit Wake Me Up gezongen in drie talen: Engels, Chinees en Spaans. Door dezelfde persoon, met dezelfde stem. In dat geval praten we over voice cloning technology (Kite-Powell, 2021). Maar dat brengt ons naar een andere blogpost 😉

Deze video toont het verschil tussen traditioneel dubbel en deepfake dubbing met lipsynctechnologie.

In een campagne om malaria de kop in te drukken, ‘spreekt’ David Beckham negen verschillende talen. Hier hoor je de stem veranderen, maar nog indrukwekkender wordt het wanneer ook de stem van Beckham hoorbaar zou zijn in die verschillende talen. 

Meer weten?

Vanuit Arteveldehogeschool bieden we een workshop aan rond deepfakes. Eerst maak je kennis met synthetische media in een theoretische module. Aansluitend maak je eerst zélf een deepfake om zo beter te begrijpen waar je moet op letten. Nadien vertrekken we van use cases om inzicht te krijgen in de gevaren én mogelijkheden van synthetische media.

Vraag de workshop aan!

Bronnen

jvh (2022, 15 september). ‘America’s got talent’, en toch: “De origineelste act die we ooit hebben gezien”. Het Nieuwsblad. https://www.nieuwsblad.be/cnt/dmf20220915_91914676

Kite-Powell, Jennifer (2021, 21 september). The rise of voice cloning and deepfakes in the disinformation wars. Forbes. https://www.forbes.com/sites/jenniferhicks/2021/09/21/the-rise-of-voice-cloning-and-deep-fakes-in-the-disinformation-wars/?sh=2fe4a92e38e1

Klomp, Sander, van Rijn, Matthew, Wijnhoven, Rob, Snoek, Cees G.M., de With, Peter (2021). Safe Fakes: Evaluating face anonymizers for face detectors. IEEE International Conference on Automatic Face and Gesture Recognition 2021. https://arxiv.org/pdf/2104.11721.pdf

Medianest (2022). Wat is ASMR? En zijn ASMR video’s wel zo onschuldig? https://www.medianest.be/wat-asmr-en-zijn-asmr-videos-wel-zo-onschuldig

Metaphysic (2022). Building the hyperreal metaverse. https://metaphysic.ai/

Umé, Chris (2021, 11 maart). Gastcollege deepfakes voor studenten journalistiek. Arteveldehogeschool. https://www.arteveldehogeschool.be/nieuws/gastcollege-deepfake-vlaamse-wereldtopper-over-oneindige-mogelijkheden-van-nieuwe-technologie

VRT (2022). DOCU Welcome to Chechnya. VRT MAX. https://www.vrt.be/vrtnu/a-z/welcome-to-chechnya/

Welk, Brian (2019, 8 oktober). 22 actors digitally de-aged on film, from Brad Pitt to Robert De Niro (Photos). The Wrap. https://www.thewrap.com/actors-who-have-been-de-aged-on-film-from-brad-pitt-to-robert-de-niro-photos/

Post Author

  • Kristin Van Damme

    Onderzoek mét mensen en vóór mensen: dat is mijn job. En dan liefst ook iets journalistiek en innovatie. Ik ben een 'mixed-methods evangelist' en combineer steeds kwalitatief en kwantitatief onderzoek. Kristin Van Damme is senior onderzoeker bij Arteveldehogeschool (expertisenetwerk Communicatie, Media en Design) en projectleider van het Nieuwsbarometeronderzoek. Daarnaast zet ik in op wetenschapscommunicatie. Mijn voornaamste energiebron: goesting in het leven, lachende kinderen en een loopje door het bos.

Lees ook

6 reduce-tips in ecodesign van verpakkingen
In ecodesign van verpakkingen streven we naar de 3R: Reduce, Reuse, Recycle. In deze blog legt docent en onderzoeker Bart Calis uit in 6 tips hoe we...
Audience metrics in journalistiek: geen kinderspel!
Audience metrics zorgen voor twijfels en vragen op nieuwsredacties. Met een spel wil het onderzoeksproject ‘Mee met journalistieke metrics’ een...
Hoe kan je met tekstanalyse de betrokkenheid van jouw medewerkers meten?
Op basis van interne communicatie de mate van betrokkenheid van medewerkers in kaart brengen. Dat is in één zin samengevat de onderzoeksvraag waar...
De weg naar een codeboek. Een stabiele beslissingsboom om de tekstanalyse op te baseren 
Om met tekstanalyse aan de slag te gaan, heb je een vast draaiboek nodig dat codeurs telkens opnieuw kunnen gebruiken. Onderzoekers Jeroen Naudts,...
Artificiële Intelligentie gaat je niet droog houden. Maar wat dan wel? 
Als Artificiële Intelligentie (of AI) alsmaar beter wordt in teksten schrijven, hoe maak je als communicatieverantwoordelijke of copywriter dan nog...
Alleen inspirerende leiders krijgen medewerkers nog geëngageerd
Gebrek aan visie, senior leadership dat onvoldoende aanwezig is op de werkvloer en te weinig aandacht voor talentontwikkeling. Dat zijn volgens...
Tycho Martins
De opleiding Experience Architect gaf Tycho waardevolle inzichten in het service design proces.
UX design en customer experience helpen bedrijven innoveren. Digital Product Designer Tycho geeft zijn inzichten over de opleiding Experience...
Hannes Van de Velde
Een succesvol digitaal product dankzij de opleiding Experience Architect
Vandaag onderscheidt een onderneming zich met een sterke gebruikerservaring. Bart dompelde zich onder in UX design tijdens de opleiding Experience...
7 redenen voor een duurzame verpakking. Wat zijn de valkuilen?
Duurzame verpakkingen: tijdelijke marketinghype of nieuwe standaard? Met het onderzoeks- en onderwijsproject ‘Packlab’ staat Arteveldehogeschool op...
Eva Mestdagh, UX Architect bij Duke & Grace
Opleiding Experience Architect: nieuwe inzichten en opportuniteiten voor UX Architect Eva
Tijd en geld investeren in een degelijk UX design en gedegen customer experience blijkt broodnodig om er als onderneming écht uit te springen....