Musikken blir aldri den samme

Takket være smarttelefonen og bevegelsene dine kan musikken høres annerledes ut hver gang du lytter.

ORIGINAL MUSIKK: Ved hjelp av et enkelt brukergrensesnitt på telefonen kan du selv bestemme hvordan du vil bevege deg igjennom de musikalske overgangene i en komposisjon, forteller Kristian Nymoen (t.v.) og Jim Tørresen. Foto: Yngve Vogt/Hanne Utigard/Colourbox

Informatikere og musikkvitere ved Universitetet i Oslo har utviklet helt ny programvare som gjør det mulig for deg å lage din egen personlige vri på musikken.

– Med det nye systemet kan du bruke smarttelefonen og bevegelsene dine til å styre hvordan moderne komposisjoner skal høres ut. Komponistens oppgave blir å lage et musikklandskap med mange musikalske overganger. Så styrer du hvilke musikalske overganger du ønsker å bevege deg i. Du skal altså selv kunne bestemme hvordan du vil vandre innenfor de ulike lydlandskapene, forteller postdoktor Kristian Nymoen ved Institutt for informatikk, med en mastergrad i musikkvitenskap. Sammen med professor i informatikk, Jim Tørresen har han laget det musikalske rammeverket.

Systemet skal også kunne fange opp det musikkbildet du liker.

– Ved å utnytte sensorene i smarttelefonen din, kan du etter hvert lage dine egne musikkuttrykk som er tilpasset humøret ditt.

Poenget er at alle smarttelefoner har sensorer som gjenkjenner bevegelse. Sensorene i mobilen kan tolke hvordan du beveger deg.

– Måten du beveger deg på, kan si noe om humøret ditt. Når du er i godt humør, beveger du deg annerledes enn når du er i dårlig humør. Vi ønsker derfor at teknologien skal sanse hvordan du er som person og legge til rette for at du får det du ønsker deg med den sinnsstemningen du er i akkurat nå.

Hvis du er sur og grinete, kan du få musikk som motarbeider stemningen.

– Mobilen kan da lage musikk som enten forsterker eller stopper følelsene dine.

For å gi en enda bedre beskrivelse av kroppsbevegelsene, bruker forskerne en sensor som kan registrere fotbevegelsene og trykket i skoen, kombinert med en algoritme som analyserer hvordan du går.

Europeisk forskningsprosjekt

Musikkforskningen er en del av det europeiske forskningsprosjektet Engineering Proprioception in Computing Systems (EPiCS), som skal gi maskiner muligheten til å tilpasse seg det miljøet de befinner seg i.

To industripartnere og seks universiteter er med. Klagenfurt universitet i Østerrike har brukt den nye kunnskapen om menneskelig bevegelse til videoovervåking. De har utviklet en helt ny type kommunikasjon mellom videokameraer som skal gjøre det mulig å følge en person som beveger seg mellom de ulike kameraområdene.

– De nye algoritmene, som vi utvikler i fellesskap, skal etterape hjernen vår, som har den utrolige evnen at den klarer å beregne hvor fingrene kan møtes bak ryggen din, selv om du ikke ser dem, forteller Jim Tørresen.

Inspirert av naturen

For å komme i mål med persontilpasset musikk, har forskerne latt seg inspirere av naturen.

De har blant annet laget en app (et dataprogram) på smarttelefonen som gjør det mulig for deg å bestemme hvordan musikkbildet skal endre seg, på samme måte som maur går etter spesielle luktstoffer for å sanke mat.

Maur legger igjen luktstoffer på stien, slik at andre maur kan finne veien til matfatet. Desto flere maur på stien, desto større mengder luktstoff. Etter hvert vil maurene finne et nytt område med mat. Da vil luktstoffene på stien til det gamle matfatet gradvis fordampe. Mengden lukt på stien er derfor avhengig av mengden mat.

– Vi har brukt det samme prinsippet til å lage en regel om hvordan lytteren beveger seg mellom lydlandskaper. Lytteren kan bruke smarttelefonen til å legge på «luktstoffer» på overganger mellom lydbilder. Jo flere «luktstoffer», desto større er sannsynligheten for at musikken skifter mellom disse lydbildene. Vi kan også legge inn en “fordampingsfunksjon” som gjør at disse overgangene forvitrer hvis brukeren ikke gjør et aktivt grep og legger på enda flere “uktstoffer”. Det betyr: Komponisten setter rammen, mens brukeren kan styre musikken innenfor denne rammen. Utfordringen er å gjøre dette musikalsk samtidig som vi må greie å finne en metode som ikke krever for mye regnekraft.

Påvirker konsertarena

Forskerne har også laget et eget musikalsk system for smarttelefonen, der de har latt seg inspirere av ildfluer. Ildfluer har lysende haler. De blitzer samtidig. Ildfluene har med andre ord en mekanisme som gjør at de kan synkronisere blitzingen. Forskerne vil bruke denne ideen til å få mange smarttelefoner til å samarbeide uten at smarttelefonene styres fra en sentral enhet.

– Vi kan bruke lyden fra hver enkelt smarttelefon til å få dem til å synkronisere med hverandre. Den enkelte telefonen skal lytte og bruke kunnskapen den fanger, til å komme i synk med de andre.

Da kan alle smarttelefonene på en konsertarena brukes som høyttalere. Og som om dette ikke er nok: Smarttelefonen din kan også brukes, sammen med alle de andre smarttelefonene til resten av publikum, til å påvirke musikken på en scene.

– Selv om vi foreløpig bare har laget et system som skal fungere for noen få brukere, er det spennende å tenke seg hvordan systemet kan brukes i en sal med mange mennesker. Tenk deg en konsert med hundrevis av deltakere: Hvis mange nok rister på telefonen samtidig, kan publikum også påvirke lyden fra selve hovedhøyttaleren, poengterer Kristian Nymoen.

Av Yngve Vogt
Publisert 3. nov. 2014 13:10 - Sist endret 3. nov. 2014 13:13
Legg til kommentar

Logg inn for å kommentere

Ikke UiO- eller Feide-bruker?
Opprett en WebID-bruker for å kommentere