Anders’ visioner for samarbejdet “HumanSensing”

Fysiologisk måling af multimodal emergens i AV-produkter

Min interesse i et samarbejde inden for “HumanSensing” bunder i at videreudvikle mit nuværende projekt (et samarbejde med Nicolai J. Graakjær og Martin Knakkergaard), der handler om at teste på respondenter, hvorvidt musik og billeder kan interagere på en sådan måde, at den “multimodale helhed” afstedkommer en emergent betydningsdannelse, der transcenderer betydningen i delene hver for sig. Skønt mange filmfolk, såvel som teoretikere og analytikere inden for kommunikations- og medievidenskab samt kognitionspsykologi, beretter om perceptions- og receptionsfænomener, hvori den audiovisuelle helhed er andet og mere end summen af delene, er der mig bekendt ikke foretaget egentlige eksperimentelle testforsøg, der knytter sådanne antagelser an til teorier vedrørende emergens, som man opererer med inden for systemteori generelt samt visse af naturvidenskaberne foruden filosofi – nemlig forestillingen om “helheders” uforudsigelighed, irreducibilitet og nedadrettede kausalitet i forhold til de enkelte komponenter. Derfor tænker jeg, at der her er tale om et interessant undersøgelsesfelt, der kombinerer forskellige fagtraditioner og paradigmer på en måde, hvorigennem man kan opnå en mere håndgribelig viden omkring de processer, der foregår, når publikum sanser og opfatter indhold og betydning i audiovisuelle medieprodukter.

Metoden, vi hidtil har anvendt, er selvrapporteringer på baggrund af foreviste og/eller forespillede stimuli (film med og uden musik samt musik alene); dels i form af fri induktion, hvor respondenterne i løbet af et kortere tidsrum (2 minutter) frit skriver, hvad der falder dem ind (hvilke associationer de får), og dels i form af to spørgeskematest vedrørende hhv. emotioner og signalværdier, hvor jeg beder respondenterne om at afkrydse den mest passende svarmulighed ud fra en række kategorier. Resultaterne, som fri induktion og spørgeskematest afføder, udgør i sagens natur blot to ud af flere mulige evidenskilder, hvor en “tekstnær” strukturalistisk-hermeneutisk orienteret analyse (min egen “læsning” af de forskellige stimulis indhold og betydning) repræsenterer en tredje.

Imidlertid har jeg gennem et lille års tid overvejet, hvordan man endvidere kan supplere projektet med fysiologiske testforsøg. Dette er bl.a. ud fra forestillingen om, at multimodal emergens ikke bare handler om betydningsinferens på det receptive og kognitive forståelsesniveau, men også udspiller sig som et mere grundlæggende sansemæssigt og perceptuelt fænomen. I den henseende tænker jeg, at man kan måle respondenters pulsslag og svedproduktion (eller andet?), når de udsættes for udvalgte visuelle, auditive og audiovisuelle stimuli – eventuelt samtidig med, at selv samme respondenter stilles nogle opgaver (interview, afkrydsning af spørgeskemaer eller andet). Dermed bliver det muligt ikke bare at udvide antallet af evidenskilder, men også sammenholde de forskellige evidenskilder direkte og sammenligne testresultater på tværs af datatyper. Det er i den forbindelse, at “HumanSensing” bliver en interessant samarbejdsmulighed for mig – og ikke mindst efter henvendelsen fra CTIF, da man netop her, så vidt jeg kan se, arbejder med trådløse sensorer. Her tænker jeg umiddelbart, at anvendelsen af sensorerne (også) kan foregå i forbindelse med feltstudier af forskellig art, hvor man således kan arbejde på en fleksibel måde og udstyre folk med sensorer i deres daglige omgivelser uden at være nødsaget til at “putte dem ind i” særlige testmiljøer (laboratorier). Spørgsmålet om, hvad og hvor meget der muligt at måle med sensorerne, samt hvilke typer af data de frembringer, vil være det primære for mig at få besvaret, således at jeg kan tilrettelægge et egentligt undersøgelsesdesign.

Jeg har talt med Birger Langkjær (Institut for Medier, Erkendelse og Formidling, Københavns Universitet) vedrørende muligheden for at etablere et fremtidigt finansieret forskningsprojekt, der vedrører testforsøg af lyd kombineret med billeder, og han er meget interesseret i at medvirke. Hvordan og hvem der skal finansiere projektet, står umiddelbart endnu lidt uklart, men med de skitserede tværinstitutionære, -fakultære og -universitære samarbejdsmuligheder skulle der vel nok være et potentiale for støtte (?)