Konsert for joystick og fullt orkester

Alexander Refsum Jensenius sitter og flagrer med fem fingre foran et lite webkamera. I den andre hånden holder han en elektronisk penn som han lager dramatiske krusseduller med på en elektronisk skriveflate. Slikt blir det musikk av. Jensenius er stipendiat ved Institutt for musikk og teater, men er også utøvende musiker. Selv om han fortsatt kan sette seg ned på krakken foran et helt vanlig piano, er det andre høyteknologiske virkemidler han helst bruker for å lage lyd. Favorittinstrumentene er en joystick eller håndkonsollen til et dataspill, en såkalt gamepad. Eller webkameraet og den elektroniske skriveflaten. Eller ganske enkelt en laptop. Poenget for Jensenius er å utforske forholdet mellom bevegelse og lyd for så å bruke bevegelse til å lage lyd ved hjelp av hverdagslig hitech-utstyr. På årets Forskningstorg viser han fram sine musikalske leketøy.

Naturlig lyd

– Jeg er opptatt av forholdet mellom menneskelige gester og lyd. Vi lager lyd hele tiden og er omgitt av lyd. Alle lyder i naturen kommer etter en bevegelse, for eksempel lyden av et nøkkelknippe som faller i bakken. Vi vet mye om slik lyd. Dette er fordi vi gjennom oppveksten og seinere har utviklet et stort "mentalt register" over lyder, deres klangfarger og tilhørende bevegelser. Vi behøver for eksempel ikke se at nøkkelknippet faller for å vite hva som har forårsaket lyden. Kanskje vi til og med kan si noe om hvor mange nøkler det var på knippet og fra hvilken høyde det falt uten å ha sett det. Samtidig kan vi se en bevegelse uten å høre en lyd, men vi vil likevel forvente at det kommer en bestemt lyd etter bevegelsen, forteller Jensenius.

Og siden lyd unektelig er grunnsteinen i all musikk, har studiet av bevegelse og lyd relevans for musikkforskeren Jensenius. Hans doktorgradsprosjekt er tredelt. For å studere forholdet mellom bevegelse og lyd, tar Jensenius blant annet i bruk videoanalyse. Med bruk av digital video og infrarøde kameraer måler han bevegelse i et rom og kobler det til lydhendelsene som kommer etterpå. Slik finner han ut hvordan korrelasjonen mellom lyd og bevegelse er. På bakgrunn av disse analysene lager han fysiske modeller for bevegelse og lyd.

– Det er gjort noen studier på dette innen fysikk og psykologi, men innen musikkvitenskapen er dette nytt. Både bevegelse og lyd er studert tidligere hver for seg, men oppsiktsvekkende få har forsøkt å se disse to fenomenene i sammenheng, sier Jensenius, som har matematikk, fysikk, informatikk og musikk i fagkretsen. Egentlig hadde han tenkt å bli astrofysiker, men endte altså som musikkforsker i stedet.

Intuitiv forståelse

Det siste ledd i prosjektet er å bruke de fysiske modellene av bevegelse og lyd til å lage musikk. Og det er her joysticken og de andre hjelpemidlene kommer inn. Ved å skape bevegelse – for eksempel skyve joysticken raskt fram og dra den sakte tilbake til venstre – lager man lyd av en bestemt karakter.

– Spillkonsollen er kjempefin til å styre lyd med. Målet er at bevegelsene vi gjør og lyden som kommer, skal henge naturlig sammen, at de skal være et mest mulig intuitivt forhold mellom bevegelsen og lyden. Dette forholdet finner jeg ved å studere bevegelse og lyd slik vi hele tiden opplever det rundt oss, forteller Jensenius, som kaller dette for intuitive parametere.

Gjennom dataprogrammer gjenskapes bevegelsen til lyd i henhold til disse parameterene. Når Jensenius vifter med fingrene foran et webkamera, registreres bevegelsen til fingrene og hånda som kaster seg fram og tilbake, opp og ned, og alt dette blir fortolket via datamaskinen til lyd.

– Poenget er at dette ikke blir mekanisk, men fungerer ”live”. Vi må ikke miste den levende dynamikken som finnes i all musikk. Men med bruk av denne teknologien åpner det seg helt nye lydbilder enn i tradisjonell musikk. Det utvikles helt nye klanger, forklarer Jensenius.

Han sier at man i nyere musikk er mer fokusert på klangfarger. Og det er her joysticken kommer inn i bildet. Under årets Ultima-festival spiller Jensenius en konsert sammen med Oslo Simfonietta hvor han styrer lydbildet med, nettopp, en joystick. Han spiller også jevnlig konserter med ”laptop-orkestre” i forskjellige sammenhenger.