‘SOUNDVISION’ is een op Unity* gebaseerde artistieke toolset voor reactieve real-time visualisaties van geluid, muziek en beweging, met als doel om voorstellingen visueel beter waarneembaar te maken, ook voor bijvoorbeeld een doof publiek. Max Schweder ontwikkelde deze toolset samen met zijn mentors Chikashi Miyama en Naoto Hiéda tijdens zijn fellowship aan de Academy for Theater and Digitality (Dortmund, Duitsland).
Als onderzoeker voor de onderzoeksgroep CREATIE aan het Koninklijk Conservatorium Antwerpen, zal Max Schweder verder bouwen op de eerste fase van het programmeeronderzoek in Dortmund, waarbij hij nu reactieve audiovisuele voorstellingen ontwikkelt, die vooral gericht zijn op toegankelijkheid naar doven en slechthorenden toe, zowel op als naast het podium. Hij wil open source tools voor artistieke geluidsvisualisatie aanbieden die gericht zijn op meer toegankelijke voorstellingen. Hij zal samenwerken met dove dansers uit het Un-Label-netwerk en met de dovengemeenschap in Antwerpen.
In dit onderzoek is het belangrijk om visuals niet louter als een vertaalsysteem te gebruiken. De belangrijkste interesse - die meer en meer de expertise van Max Schweders wordt - ligt in het gelijktijdig ontwikkelen van muziek en hun visuals, waarbij de ene kunstvorm de andere informeert en inspireert. Beslissingen en acties vinden hun wederkerige weerklank tijdens het creatieve proces.
Het reactief visualiseren van alle dimensies van een geluid is een complexe opgave. Niet alleen overduidelijke of binaire parameters, zoals dynamiek, toonhoogte of articulatie, maar ook de meer complexe relaties en verbanden tussen geluiden kunnen worden gevisualiseerd. Daarnaast kan een geluidsreactieve virtuele belichaming van een performer, bijvoorbeeld door middel van 3D Camera Input, de verbinding tussen performer en geluid versterken.
*Unity is een “gaming engine” ontwikkeld door Unity Technologies. Recentelijk wordt de engine vooral door industrieën en makers buiten de videogames scene gebruikt, zoals film, automotive, architectuur, techniek, theater en installatiekunst. De engine kan worden gebruikt om driedimensionale, tweedimensionale, virtual reality en augmented reality toepassingen te creëren voor alle belangrijke platformen. Omdat het in de eerste plaats gemaakt is voor game-ontwikkeling, is het zeer flexibel en performant. Het prijsmodel zorgt voor gratis, open-source applicaties.
