Achter de schermen bij Abbus. Deel 2: de AI-videoclip

Gezicht 

Om virtuele Willie zo veelzijdig mogelijk te maken en meerdere uitdrukkingen te kunnen geven gingen we online op zoek naar bestaand beeld van de echte Willie. Met deze beelden trainden we een styleGAN, in de hoop dat dit iets bruikbaars zou opleveren.

StyleGAN

We verzamelden in totaal zo’n 500 foto’s van Willie online, maar dit bleek bij lange na niet genoeg materiaal om de styleGAN te trainen. Het leverde wel wat visueel interessante resultaten op, maar niet iets dat op Willie leek (of op enig ander mens).

Toen probeerden we een andere aanpak. We trainden een nieuw model met meer consistente beelden (5000 still frames uit een interview met Willie Wartaal). Dit werkte wat beter: de output leek deze keer wel op Willie, maar was weinig gevarieerd en visueel niet zo interessant.

Zingend gezicht

Daarom bleven we doortrainen en experimenteerden we met variatie in de training cycles en met het mengen van diverse beelden als input. Uiteindelijk kwamen we uit op een output die consistent was, en tof om te gebruiken.

De beelden die door dit model werden gemaakt gebruikten we als textuur voor het gezicht van het 3D-model. Ook manipuleerden we de output op diverse manieren om het genereerde gezicht te laten zingen en reageren.

Om Willie’s GAN-gezicht te laten zingen zongen we zelf voor een camera en gebruikten we een gezichtsherkenningsmodel (Runway: first-order-motion model) om deze bewegingen te tracken. De zangbewegingen werden gemapt naar Willie en zorgden ervoor dat hij een belangrijke regel uit Abbus kon zingen: “Telling the world that I was living, living, living”..

3D-wereld voor Willie 

Omdat ons model van Willie een 3D-model was leek het passend om ook zijn wereld driedimensionaal te maken. Met een debugging tool van de graphics processor extraheerden we 3D-geometrie uit Google Maps. Zo kregen we schaalmodellen van daadwerkelijke locaties in Amsterdam.

Het verhaal van de videoclip gaat over AI die continue leert en evolueert. We wilden hetzelfde doen met deze stadsomgeving: visualiseren dat een AI leert hoe een wereld eruit ziet. We kozen voor een point cloud als visuele metafoor omdat veel bestaande AI-toepassingen (bijv. zelfrijdende auto’s) een point cloud-wereld gebruiken om te navigeren. 

De overgang scenes van point-cloud naar fotorealistische stad maakten we in Unity. Hier hebben we diverse lagen geanimeerd en in elkaar laten overgaan.

Kleur in Willie's wereld

Nu hadden we een wereld voor onze digitale Willie, maar hij was nog grijzig en niet zo aantrekkelijk als de foto’s van Amsterdam die we verzameld hadden. Deze grijze wereld ‘verfden’ we met de styleGAN die we eerder hadden gegenereerd. Zo kwam er kleur in Willie’s wereld.

Pose-lifting

Hoewel het gebruik van de locaties van gewrichten logisch lijkt zegt de inschatting in 2D weinig over de positie van de gewrichten in 3D.  Het toepassen van de ijkpunten op de 3D-versie van Willie leverde extreem vreemde houdingen op, dus dat werkte niet. 

Om dit op te lossen moesten we de houdingen zien te vertalen van 2D naar 3D. Gelukkig is dit een probleem waar meer mensen tegenaan lopen, dus er is veel research beschikbaar over dit zogenaamde ‘pose lifting’. Toepassing hiervan op een stokfiguurtje resulteerde in vrij goed passende inschattingen van de houding in 3D.