Experimenta – AI Pavilion

Geluidsontwerp met de kracht van mens en machine.

Er gaat geen dag voorbij zonder weer een nieuwe toepassing die op verbluffende wijze gebruik maakt van Artificial Intelligence (AI). Is het een hype of de belofte van de oplossing voor alle uitdagingen van de mensheid ?

Bij Experimenta – Das Science Center in Heilbronn (Duitsland) is men op zoek gegaan naar het verhaal achter AI: wat is het eigenlijk, hoe is het ontstaan, en wat kunnen we nog van haar verwachten in de toekomst?

Samen met interactives-ontwerpbedrijf Yipp en museale bouwer Bruns werkten wij aan de invulling van een gloednieuw paviljoen waar de bezoeker kan leren en zelf ervaren hoe de basisprincipes van AI werken.

Door uit te leggen wat de basisprincipes van AI zijn probeert deze expositie ook de angst weg te nemen die veel mensen voelen bij de schijnbaar allesomvattende razendsnelle opkomst van deze “nieuwe” technologie. Er zijn voorbeelden van intelligente systemen uit het verleden, van voor de uitvinding van de computer: mechanische machines zoals Shannons Maze waarbij een mechanische muis door middel van schakelingen, destijds vooral gebruikt in telefooncentrales, leert hoe op de snelste manier door een doolhol te geraken.
Hoewel AI ons leven steeds meer zal gaan beïnvloeden leert deze tentoonstelling de bezoeker ook dat AI uiteindelijk alleen kan functioneren in goede harmonie met zijn gebruiker: de denkende mens. AI is hier uiteindelijk van afhankelijk om van echte meerwaarde te zijn.

SonicPicnic werd gevraagd om de complete audiovormgeving van het paviljoen voor zijn rekening te nemen. We maakten het geluidsontwerp voor een reeks installaties die de bezoeker op speelse wijze iets leren over de verschillende basisprincipes van AI.

Ze beantwoorden vragen als: wat is machine learning? Hoe werkt een taalmodel? Hoe kan een computer tekeningen of foto’s herkennen en benoemen wat er te zien is?

En misschien nog wel de belangrijkste vraag: wat is de plek van het menselijke brein en de creativiteit in dit alles?

Bij het ontwerp en bouw van het paviljoen is veel gebruik gemaakt van natuurlijke materialen als hout en is er veel rekening gehouden met daglicht. Het geheel oogt futuristisch maar ook menselijk en rustgevend. Wij werden gevraagd om na te denken over een passende invulling wat betreft klank. De installaties bestaan voor een groot gedeelte uit interactieve presentaties met informatie en kleine games, vaak gebruikmakend van touchscreens. Daarbij combineerden we klanken met een natuurlijke basis, bijvoorbeeld hout-achtige kliks en en tikjes, tonale geluiden afkomstig van akoestische instrumenten maar ook electronische klanken. Altijd zorgden we ervoor dat het licht, vriendelijk en menselijk bleef klinken.

De installaties hebben naast een gedeelde set geluiden ook vaak unieke geluiden welke altijd binnen dezelfde klankkleuren (timbres) blijven, zodat het een coherent geheel blijft.
Bij aanvang van het project zijn we begonnen met het opnemen van allerlei akoestische instrumenten en verschillende voorwerpen in een granulaire sampler met behulp van een Eurorack modulair systeem. Hieruit kwamen allerlei opnames voort, welke weer zorgvuldig zijn opgeknipt in hele korte stukjes audio. Door deze meer natuurlijke geluidsbasis later weer aan te vullen met synthesizers en korte motiefjes, ontstaat er een licht futuristisch klankpalet, waarin ook organische/natuurlijke elementen zijn te horen.


Het maken van geluidseffecten met modulaire synthesizers.

De hele expositie stoelt op de gedachte dat AI altijd menselijke creativiteit en input zal nodig hebben om van waarde te zijn. Om dit uit te drukken staat er in het midden van de expositie een installatie genoemd The Source. Hier kan de bezoeker gaan zitten en even uitrusten op cirkelvormige bankjes die doen denken aan de randen van een fontein of bron. Dit is de plek waar creatieve ideeën van mensen worden omgezet naar technologie en input voor AI systemen. Het is tevens de bron van de soundscape die vanaf hier door meerdere speakers boven The Source in alle richtingen klinkt. Samen met Yipp dachten we na over hoe we in geluid de samenwerking tussen AI en mens konden benadrukken met als resultaat een adaptieve soundscape waar zowel mens als machine invloed op uitoefenen. Deze soundscape moest goed aansluiten bij de sfeer van het paviljoen: licht en optimistisch maar ook dynamisch en veranderlijk. De klanken moesten man-made zijn maar ook door AI beïnvloed.

We begonnen met het maken van verschillende lagen geluid: atmosferische, doorlopende geluiden, vaak gebaseerd op natuurlijke fenomenen als bijvoorbeeld wind en water. Daarnaast waren er meer gecomponeerde, muzikaal geordende lagen met muzikale motieven, samenklanken, akkoorden etc. Als laatste voegden we nog verschillende percussieve lagen toe.
Al dit materiaal werd zo gemaakt dat het in verschillende combinaties altijd aangenaam zou klinken. We maakten gebruik van Ableton Live, een veelgebruikt Digital Audio Workstation (DAW) programma in combinatie met Max/MSP, een visuele programmeertaal gericht op interactief beeld en geluid. Dit maakte het mogelijk om het gemaakte materiaal op verschillende manieren te laten klinken en realtime te bewerken op het moment van afspelen. De AI die we gebruikten is ChatGPT, de alom bekende chatbot gebaseerd op taalmodellen.

 

 

Daarna zochten we naar invloeden van buitenaf op basis waarvan AI mocht gaan bepalen hoe deze door een mens gemaakte onderdelen van de soundscape gebruikt zouden gaan worden. Via trial en error kwamen we tot een aantal factoren die daadwerkelijk hout sneden, relatief makkelijk te meten waren en uiteindelijk zorgden voor een passend en goed klinkend eindresultaat.
De eerste parameter die we kozen was het aantal mensen mensen aanwezig in het paviljoen. Hier vonden we een relatief eenvoudige meetmethode voor. We keken hoeveel van de installaties op een gegeven moment in gebruik waren door bezoekers. Dit gaf ons een redelijk goed beeld van hoe druk het is op de expositie. Daarnaast keken we naar het weer: is het buiten zonnig? Regent het? Is het windstil of waait het juist heel hard? Hiervoor gebruikten we een online weer API die op gezette tijden het weerbericht doorgaf. Ook mocht AI het tijdstip, dag van de week en maand en het huidige seizoen gebruiken als input.
Daarnaast gebruikten we nog 2 parameters die rechtstreeks te maken hadden met de output van 2 andere installaties op de expositie. Bij de installatie Poetry – Help Me Express kan de gebruiker door de input van een onderwerp, een emotie en een dichtvorm een gedicht laten genereren middels AI. De meest gekozen emotie door de gebruikers van deze installatie werd ook meegenomen als parameter voor de soundscape. En ten slotte werd ook de laatste headline van het nieuws op het gebied van AI gebruikt als input.

temp

Vervolgens gaven we AI de mogelijkheid om een specifieke set aspecten van de soundscape aan te passen, gebaseerd op de input van de hierboven genoemde parameters. Zo kon er door de AI gekozen worden uit een aantal verschillende toonsoorten, elk met hun eigen sfeer en emotie. Iedereen kent wel het verschil in gevoel tussen een majeur (vrolijk) en mineur (triest), maar daarnaast voegden we ook nog een aantal meer exotische toonladders toe (voor de liefhebber: mixolydisch (onstabiel), heletoonsafstand (magisch) en lydisch (etherisch, verwonderend).
Verder kon AI ook de verhouding tussen de meer atmosferische klanken en muzikale klanken bepalen. Zo zouden er bijvoorbeeld alleen wind en water geluiden kunnen klinken als de AI daarvoor zou kiezen op basis van de gegeven parameterwaardes.
Ook kon de AI kiezen uit verschillende tempo’s, veel of weinig noten (dichtheid), verschillende instrumenten en een keuze voor meer heldere of doffe klanken.
Vervolgens vatten we al deze informatie en mogelijkheden samen in een uitgebreide vraagstelling (prompt genoemd) aan ChatGPT. Dit gebeurt elke 10 minuten, zodat er regelmatig nieuwe variaties ontstaan.

Toen we dit systeem in de basis goed werkend hadden gemaakt, werd het vooral een kwestie van goed testen en luisteren. Wat voor keuzes maakte de AI op basis van de gegeven informatie en hoe vertaalde zich dat in geluid? Het vergde meerdere aanpassingsrondes aan zowel de AI kant als de soundcape generator. Door de prompt aan ChatGPT op een andere manier te verwoorden en bepaalde instellingen te veranderen en door het geluidsmateriaal en de bewerkingen hierop aan te passen waar nodig. Uiteindelijk kwamen we tot een systeem dat zorgde voor genoeg variatie van de soundscape, passend bij de situatie zonder dat het geluid “uit de bocht” vloog met te extreme keuzes.


De achterliggende technologie at work!

Het was verrassend te zien dat ChatGPT aan de hand van de gegeven parameters (het weer, de aanwezige bezoekers etc.) steeds tot een heel goed geformuleerde en begrijpelijke verantwoording kwam met betrekking tot de keuzes van de aanpassingen op de klinkende soundscape. Om de expositiebezoeker dit duidelijk te maken is er de mogelijkheid om met de eigen smartphone via een QR code een website te bekijken waarop deze verantwoording in beeld wordt gebracht. Feitelijk functioneerde de AI als een DJ die zijn publiek en de situatie inschat en vervolgens de aan hem ter beschikking gestelde mogelijkheden in geluid zo effectief mogelijk gebruikt. Een goede samenwerking tussen mens en machine dus!

Het werken aan het geluidsontwerp voor AI Pavilion was voor ons een geweldige ervaring waarbij we onze kunde in het maken van toegepaste muziek en geluid en het co-creëren van technische oplossingen perfect konden combineren. Meer informatie over de expositie lees je hier.

Wil je een keer sparren over hoe innovatief gebruik van geluid en muziek jouw project naar een hoger plan kan tillen? Neem dan contact met ons op!