Iedereen componist

Ed Newton-Rex geldt als pionier op het gebied van muziekcompositie met AI. Wanneer mensen erachter komen dat hij al tien jaar lang met kunstmatige intelligentie muziek maakt, krijgt hij vaak de vraag: “Wat bijzonder, hoe klinkt dat - AI-muziek?” Zijn steevaste antwoord: “Het klinkt nergens naar”. En dan niet in de zin dat het niet om aan te horen is, maar dat je niet moet verwachten dat deze technologie een specifiek geluid oplevert. Luister je naar synthesizermuziek uit de vroege tachtiger jaren -zeg Human League of Eurythmics- dan had de technologie daar een eigen geluid, nog steeds instant herkenbaar en ook een tijdsdocument. Met AI is dat anders. En dat blijkt ook uit de contributies van het AI Songfestival. Wanneer we Newton-Rex spreken, lid van het jurypanel voor het AI Songfestival, heeft hij net de liedjes van alle teams gehoord. Wat hem als eerste opvalt, is de enorme diversiteit. De teams hebben weliswaar dezelfde tools gebruikt, geen liedje klinkt hetzelfde. Wat het voor Newton-Rex bevestigt: AI-muziek is geen stijl of genre.

Wat AI dan wel is? Een nieuw stuk gereedschap om muziek mee te maken dat je op veel creatieve manieren kunt gebruiken. Vincent Koops leidt het AI Songfestival panel. Hij is AI-onderzoeker en -componist, met diploma's in Sound Design en Music Composition aan de Hogeschool voor de Kunsten in Utrecht, en in Kunstmatige Intelligentie aan de Universiteit Utrecht. Hij heeft een PhD in Music Information Retrieval en werkt aan AI multimedia projecten bij RTL. Wat Koops opviel bij het beluisteren van de liedjes was de variatie waarmee de teams AI-technieken hebben gebruikt. Koops las dat ook terug in de beschrijvingen van hoe de liedjes tot stand zijn gekomen – ieder team leverde behalve een liedje ook een zogeheten ‘procesdocument’ aan. ‘Veel teams hadden niet per se een academische muzikale achtergrond maar bestonden uit datawetenschappers die meededen omdat ze het cool vonden om te experimenteren’, zag Koops. ‘En juist zij kwamen soms met te gekke oplossingen. Zo zit er in Terminal van OSX een intern spraakcomputertje dat sommigen hebben gebruikt om vocals voor hun liedje mee te generen. Daar gooiden ze vervolgens autotune overheen. Super creatief. Zoiets zou ik zelf nooit hebben bedacht. Een ander team heeft geprobeerd muziek om te zetten  in afbeeldingen en had daar weer muziek van gemaakt. Je kunt een AI-machine namelijk niet zomaar muziek voeden, je moet de muziek eerst voor de AI coderen. De meesten gebruiken MIDI. Maar dit specifieke team heeft afbeeldingen gebruikt om te coderen. Niet de meest voor de hand liggende oplossing maar kennelijk een techniek waarmee het team bekend was.’

Ed Newton-Rex richtte tien jaar geleden het muziekcompositiebedrijf Jukedeck op (in 2019 overgenomen door ByteDance), dat AI-muziek voor video en andere media levert en meer dan een miljoen originele muziekstukken creëerde. Hij heeft dus het nodige gezien op het gebied van AI-muziekcreatie, zou je zeggen. En toch stond hij opnieuw versteld, toen hij bijvoorbeeld zag hoe een van de AI-Songfestival teams voor het trainen van hun AI de muziek van Bach heeft gecombineerd met death metal. ‘Als ik zelf zonder AI een liedje zou maken, als mens, is het goed mogelijk dat ik bij het componeren bewust of onbewust beïnvloed zou zijn door meerdere genres, zoals metal of Bach’, zegt Newton-Rex. ‘In die zin sluit AI-muziekcompositie aan bij hoe wij hoe wij mensen creatief zijn. Toch zouden die genres weliswaar de compositie beïnvloeden, maar je zou minder direct en duidelijk de referenties terug horen als bij deze bijzondere AI-muziekcompositie. Het levert iets unieks op.’ Ook bij het genereren van hun tekst ging dit team creatief te werk: ze trainden hun AI op de Duitse en Engelse taal. Newton-Rex: ‘Daarmee maakte het team gebruik van de beperking die een AI heeft: het weet niet hoe het moet kiezen tussen Duits of Engels en dat het bij zo’n keuze aan het vertalen moet slaan – want het heeft geen algemene intelligentie. Er komt iets heel raars en verrassends uit, want een mens nooit zou verzinnen.’

AI is door alle teams gebruikt om verschillende componenten te genereren waaruit een liedje bestaat, zoals tekst en melodie. Maar AI met één druk op de knop een coherent liedje laten fabriceren, is een brug te ver, zag het panel bij alle inzendingen. Ten eerste bleek niet alle gegenereerde output van de AI-machine bruikbaar, zag panellid Anna Huang. Huang is een toonaangevende AI-onderzoeker op het gebied van muziek, die eerder werkte aan het Magenta-project bij Google Brain – een open source-tool om AI-muziek mee te generen dat veel teams hebben gebruikt. Huangs composities hebben verschillende prijzen gewonnen, waaronder de eerste plaats in het San Francisco Choral Artists New Voices project. Ook creëerde ze Google’s eerste AI Doodle, de Bach Doodle. Daarmee hebben 55 miljoen mensen zelf een liedje in de stijl van Bach kunnen maken door zelf een melodie in te voeren. Ze heeft een doctoraat in machine learning en mens-computer interactie van de Harvard Universiteit, een master in mediakunst en -wetenschappen van het MIT Media Lab en een bachelor in muziekcompositie van de Universiteit van Zuid Californië. 

Huang vond het opvallend te zien hoe sommige teams pingpongde met hun AI. ‘Wanneer de AI niet per se meteen bruikbare output leverde, zag ik dat teams het wel als inspiratie gebruikte, de output gingen interpreteren, daar hun AI opnieuw mee voedden en zo met die interpretatie verder gingen’, vertelt ze. ‘Ik bemerk dat mensen met AI meer risico’s durven te nemen en eerder geneigd zijn tot experimenteren. Logisch, het vereist niet veel tijd en inspanning om een gekke melodielijn te volgen en te zien wat de AI daar vervolgens mee doet. Je kunt eenvoudig iets uitproberen en als het niks oplevert is dat niet erg: je gooit er niet uren werk mee weg.’

Daarnaast is het zo dat aan het in elkaar puzzelen van de AI-gegenereerde componenten eigenlijk altijd een menselijke hand te pas komt. De rol van de muzikant wordt zo meer redactioneel en productioneel, ziet Huang. ‘Je verzamelt en cureert’, stelt ze. ‘Dat kan manueel, maar ik zag ook teams die een algoritme hebben gemaakt die het helpt bij de curatie. Om de output van AI gericht te laten zijn zodat je niet wordt overspoeld door duizenden mogelijkheden.’ Het viel Newton-Rex op hoe een ander team willekeurigheid probeerde toe te passen bij de keuze welke AI-onderdelen te gebruiken: hun eigen oordeel lieten ze over aan een dobbelsteen. Newton-Rex: ‘De teamleden rolden met de dobbelsteen om te bepalen welke elementen er voor het liedje gebruikt gaan worden. Dat vond ik een interessante en leuke manier om nog meer verrassing toe te voegen aan je liedje.’

De AI-machines van de teams hebben flink staan ronken. Melodie laten genereren door een AI: check. Tekst niet zelf schrijven maar van een AI laten komen: check. Maar die elementen tegelijkertijd laten generen zodat alles in elkaar past, is voor een AI niet te doen, weet Vincent Koops. ‘De teams hebben in veel gevallen de “hamburgermethode” gebruikt: met verschillende lagen een nummer opbouwen. Dat is niet radicaal anders als hoe bestaande popmuzikanten het doen. En ook orkeststukken zijn niet lineair gecomponeerd, alle instrumentaria tegelijkertijd. Wat mensen wel goed kunnen is improviseren: een melodie op een gitaar spelen en daar tegelijkertijd tekst bij improviseren. Computers kunnen misschien hier en daar een beetje improviseren, maar niet alle dingen tegelijkertijd op een coherente manier.’

Kan iedereen die in de ontwikkeling van AI een dystopie ziet hiermee opgelucht ademhalen? Is de mens onvervangbaar en zal ‘ie bij de creatie van muziek niet direct concurrentie hoeven te duchten van een computer? Anna Huang vindt dat het AI Songfestival inzichtelijk maakt dat bij iedere stap in het creëren van een AI-liedje menselijke arbeid zit: Hoe de AI is getraind, met welke data het is gevoed, hoe de output is gecureerd en hoe alles vervolgens is samengesteld. Alle AI-kunst, ook muziek, is kunst voor mensen en dat betekent dat er menselijke elementen aan toegevoegd moeten worden, stelt Vincent Koops. ‘Een systeem dat nooit menselijke kunst heeft gezien kan niet kunst genereren dat voor een mens interessant is. Melodieën houden zich aan bepaalde vormen en die moet je een AI trainen. Dat betekent dat je de AI-machine een richting op moet wijzen, je moet het sturen. Als je vanuit ruis muziek gaat genereren krijg je een klankwolk, willekeurige rommel. Geen liedje.’

Ed Newton-Rex merkt wel op dat voor sommige vormen van muziek computers het prima van mensen kunnen overnemen. Muziek die als ‘behang’ functioneert bijvoorbeeld, muziek op de achtergrond in winkels of bij het spelen van games – daarvoor hoeft een mens niet achter de knoppen te zitten. Maar AI zal niet de nieuwe David Bowie opleveren, zegt hij daar meteen achteraan. ‘In dat geval heb je het over artistiek gemaakte muziek en dat is toch een ander metier. Een AI kan niet iets met een bedoeling creëren. Omdat een AI geen idee heeft wat ‘ie doet. Artiesten hebben dat wel.’ ‘Muzikanten reageren ook op de zeitgeist’, voegt Anna Huang eraan toe. ‘Hoe we onszelf in een bepaalde tijd voelen, zoals veel muziek in deze coronatijd waarschijnlijk zal gaan over eenzaamheid en jezelf geïsoleerd voelen en over nieuwe manieren van connectie en elkaar supporten. Mensen kunnen reflecteren op de tijdgeest, computers niet.’

Wat AI de muziekwereld behalve inspiratie aanreikt is vooral democratisering, ziet het panel. Dit wordt door het AI Songfestival in het bijzonder aangetoond. Veel teamleden hebben geen muzikale achtergrond en geven toe zonder AI nooit muziek te zouden componeren. Vincent Koops zag hoe teams die wel muzikale en technische achtergrond hebben ‘state of the art- tools gebruikten en alles op een nette academische manier deden’. Koops: ‘De teams die die achtergrond niet hadden, zochten naar leuke oplossingen. Dat leverde soms heel interessante harmonieën op, ook al klonk de productie niet altijd heel slick. Met AI is de creatieve wereld van deze mensen vergroot. Ze dachten dat ze niet muzikaal waren omdat ze geen instrument konden bespelen. Maar je vermogen om je ideeën in muziek uit te drukken omvat meer dan op een gitaar kunnen pingelen. Het leuke is dat met AI iedereen nu componist kan zijn.’ Wordt het ambacht daar niet enorm mee genivelleerd? Koops denkt dat dit wel meevalt. ‘Ik denk juist dat de lat daardoor hoger wordt gelegd. Het daagt andere artiesten en componisten weer uit om nieuwe grenzen te verleggen en dingen te verzinnen die mensen met AI niet kunnen verzinnen.’