mandag den 28. februar 2011

Fysiologiske målinger af AV-percepetion

Kære alle,
Når det drejer sig om fysiologiske målinger, er der, så vidt jeg er orienteret, ikke ret megen forskning på området. Jeg har imidlertid studeret et par forskningsbidrag, der begge beskriver nogle eksperimenter med fysiologiske målinger i kombination med selvrapporteringer.


Thayer, Julian F., & Levenson, Robert W. (1983) Effects of Music on Psychophysiological Responses to a Stressful Film. Psychomusicology, 3(1), 44-52.

Ellis, Robert J.; & Simons, Robert F. (2005) The Impact of Music on Subjective and Physiological Indices of Emotion While Viewing Films’. Psychomusicology, 19, 15-40.
Selv om ovenstående bidrag er centrale og interessante for mig, er de ikke udtømmende. De har hver især fokus på, hvilken betydning lyd/musik spiller for perceptionen af film, og det er karakteristisk, at det ofte (næsten altid) den vej, den vender - ikke, hvilken betydning billedforløbet har for perception af musikken.

Herunder et resumé af de nævnte bidrag:

Formålet i Thayer & Levensons bidrag er at
undersøge, hvorvidt valget af underlægningsmusik kan have en betydning for, hvorledes filmen perciperes.

Testkonditioner

  1. Video: En 12 min. lang oplysningsfilm (s/h) mhp. undgåelse af arbejdsulykker
  2. AV1: Videoen + “dokumentar-agtig” musik
  3. AV2: Videoen + “skrækfilmsmusik”

Evidenskilder

  • Heart rate interbeat interval. Målt med et elektrokardiogram.
  • General somatic activity. En elektromagnetisk sensor placeret under stolesædet for at måle enhver form for bevægelse.
  • Skin conductance level. Elektroder placeret på første og tredje finger.
  • Pulse transmission times to the a) finger and b) ear. Et photoplethysmographic device fastgjort på øreflippen og den midterste finger for at måle tidsintervallet fra R-wave på elektrokardio-grammet til hhv. øret og fingeren.
  • Finger pulse amplitude. Samme måleredskab som foroven for at måle fingerpulsen.
  • Continuous self-rapport of anxiety. Subjekterne flytter kontinuerligt en viser på en skive med reference til en 10-punkts-skala med yderpunkterne extremely calm og extremely tense. Skiven er forbundet med et potentiometer, og en computer kan ud fra en simpel kalibreringsformel registrere de fortløbende positioner på skiven.

Procedure

Subjekterne vælges tilfældigt til en af de tre testkonditioner og instrueres følgelig i det apparatur, som de udsættes for. En skriftlig instruktion fortæller dem, at de skal se en “industrial safety film”, hvorefter de instrueres i at bruge “anxiety-skiven”. De får at vide, at de skal stille på den så ofte som nødvendigt, således at den reflekterer deres øjeblikkelige tension-niveau. Forsøgslederen forlader lokalet og efterlader subjektet alene, for at denne kan vende sig til laboratorieomgivelserne. Efter 10 minutter begynder eksperimentet. Dette starter med 7 minutters tom skærm, efterfulgt af den 12 minutter lange film, og til sidst blot 1 minuts tom skærm.

Resultater

Som forventet sker der det, at den “dokumentaragtige” musik sænker “anxiety-niveauet”, mens “skrækfilmsmusikken” modsat hæver det.

- - - - - - - - - - - - -

Formålet i Ellis & Simons' eksperiment er at undersøge, hvorvidt forholdet mellem film og musik (dvs. billeder ctr. lyd) er additivt, når det undersøges ved såvel selvrapportering og fysiologiske målinger. Som det også fremgår af selve titlen, er det musik-parameteren, som “drejes” på, og det, der således især er i fokus, er musikkens betydning for billederne (eller filmen) og ikke omvendt. (Men også det omvendte må kunne udledes af datamaterialet?)

Evidenskilder

  • Facial muscle activity. To muskler (til hhv. smil og til øjenbryn) kan aflæses. Forskning dokumenterer, at aktivitet over øjenbrynene er tegn på negativ valens, mens aktivitet over kinderne er tegn på positiv valens.
  • Heart rate. Også skiftende hjerterytme er forbundet med forskellig valens. Negative billeder fører til højere hjerterytme end positive billeder.
  • Electrodermal activity (skin conductance response). Mere svedproduktion ved høj arousal end ved lav arousal.
  • Selvrapportering vedrørende arousal og valens.

Procedure

Der er tale om individuelle test, hvor “the nature of the study”, stimuli og optageteknikken beskrives kort for de enkelte subjekter, før de skriver under på en samtykkeerklæring. Fysiologiske målinger foregår under successiv afspilning forskellige AV-klip, mens selvrapporterede ratings (på en skala fra 1 til 9) foregår efter afspilning af hvert AV-klip. Indledningsvis præsenteres en øvelsesfilm, således at subjekterne vender sig til udstyret.

Resultater

Resultaterne for selvrapporteringerne viser et additivt forhold, mens de fysiologiske målingsresultater er mere komplekse, idet AV-interaktionerne ikke altid er forudsigelige.



Humansensing møde imorgen tirsdag kl. 15!/første dagsordenforslag

Kære alle!
Imorgen har vi møde. Vi har endnu ikke en dagsorden på plads, men mit første bud er

  1. Korte status nyheder
  2. Respons på dekanens initiativ.(måske kommer der et bud inden mødet?)
  3. Planlægning af forårets interne og eksterne aktivitet.(måske kommer der et bud inden mødet?)
  4. Andet?

venlig hilsen

Morten

fredag den 18. februar 2011

Den 18.februar: endnu en god human sensing dag!

Kære alle!
Jeg har flere gange nævnt vigtigheden af matematiske modeller, som fungerer på en række planer: kan integrere flere evidenskilder(både subjektive og sensordata mm), er fleksible(kan fungerer i laboratoriummet og i praksis) samt er let forståelige.

Igår fik jeg en åbenbaring!

Efter længere tids tumlen med hvordan den kvalitative matematiske model faldt 25 øren. I en generisk form. Den ser ud som vedlagt.
Musikterapi monitoreret med sensorer modelleret i et bayes net med markovegenskaber
Det er en "Input-Output-model". Klienten udsættes for musik - det påvirker arousal og arousal påvirker HRV og GSR. Dette sker i tiden T og arousal i tiden T, påvirker arousal i tiden T1 og så fremdeles.
Det er altså en meget simpel generisk model, som kan håndteres matematisk, kan relativt nemt begribes og den kan udbygges på forskellig vis. Det er et rigtigt godt egenskab at den er så simpel. I kan forstå den og udvikle den.
Efter den kvalitative model er på plads(og jeg laver nogle flere check) så skal den kvantitative modellering("stregernes styrke") og det kan også være udfordrende....

Et valg på en mobil - hvem skal jeg vælge?
Jeg styres 100% af mine emotioner!
Emotional mapping
Endvidere hygge programmede jeg videre på min Android og lavede dette lille program, som tematiserer "Mapping emotions". Måske kan de inspirere?

venligst


:-)
Morten

torsdag den 17. februar 2011

2 aktiviteter og tilbud for human sensing?

Hej alle!
1. I min søgen efter evidens kilder...
Hvis det ikke er gået op for jer så leder jeg med lys og lygte efter evidens kilder, som kunne være værdifulde eller interessante at arbejde med, når talen falder på arousal. I visse nye eksperimenter med maniodepressive både udstyret dem med sensorer og med mobiler, hvorigennem de kan udtrykke deres egen oplevelse/følelsesmæssige tilstand på. Micro assesment vil jeg kalde dem.
Derfor har jeg hyggeprogrammeret på Android platformen for at give testpersoner muligehed for at udtrykke egenskaber ved den situation, som de er i nu. Velbefindende, arousal eller hvad ved jeg.
Det er hygge programmering og indlæringskurven på denne for mig nye platform er stejl og jeg har intet at vise endnu.

Men det afholdt mig ikke fra at spekulerer på hvordan spørgsmål/svar på en skærm skal være til brugere, der skal sige noget om deres ...arousal. Derefter kontaktede jeg Morten Lund(phd her på stedet) og det læste han faktisk artikler om nu. Mapping emotions.
Han skrev efterfølgende til mig:

"Jeg synes at det lyder interessant  - og selvfølgelig kan man lave tests på hvad folk føler ved et bestemt sanse-indtryk (lyd, billede, etc.), så det er da en metodisk meget spændende udfordring, som vi nok alle kunne trænge tila t blive klogere på. Måske vi HELT SERIØST skulle arrangere en fakultær workshop om emnet ?! Sådan en for "kun forskere" ?!!!
Det kunne jo køres i regi af phd skolerne ?! De har også lidt penge, der kører uden om vidensgrupperne :)
"


Altså et tilbud til humansensing.


2. Jeg holder foredrag om "New evidence, E-science and persuasion"
i Center for Qualitative Studies" den 31/3 kl. 14-16 med Jonathan Ledet Larsen fra Aalborg Psykiastriske Sygehus. Jeg fremlægger nogle af mine visioner om vores arbejde i human sensing gruppen.
Lokale annonceres senere. Skriv til mig, hvis du eller andre deltager. Manchet kan osse rekvireres.


:-)
Morten

søndag den 13. februar 2011

Respons? Udviklingsmidler til at styrke integration af forskning, undervisning og videnspredning

Fru dekan skriver
"Kære alle / dear all

I samarbejde med institutledere, studieledere og støttet af akademisk råd indkalder jeg hermed projektideer/interessetilkendegivelser til udviklingsprojekter, der styrker integration af forskning, undervisning og videnspredning på Fakultetet. Projekterne bliver støttet af Dekanens strategiske pulje (se link).


http://fak.hum.aau.dk/fileadmin/FAK/dekanen/strategisk_satsningFU-UV-VS1.pd
Vigtige deadlines 2011:

31. marts: Interessetilkendegivelse
13. april (12 – 14.30): Poster session/cafe seminar"

Burde vi ikke reagerer?
Kan det være meningsfyldt at spise frokost sammen en  dag i denne uge?

venligst

Morten

P(Arousal | GSR,HRV,MT_assesment) mm en MIT-litteratursøgning med positive resultater

Hej alle!
Jeg gik ind på MIT - affective computings site og fandt et par meget interessante ting. Eller rettere 3.

1. Liste over evidenser, som MIT retter deres opmærksomhed på
Den ene ting var en liste over de evidenser, som MIT finder mest lovende og dermed interessante, når de arbejder med affective computing.
Det drejer sig om
  1. GSR (Galvanic Skin Response),
  2. EKG (Electrocardiogram),
  3. EMG (Electromyogram),
  4. BVP (Blood Volume Pressure),
  5. Respiration, and
  6. Temperature
    EKG må være Heart Rate Variability, mens EMG ved jeg pt ikke hvad er.

    2. De har en gammeldags forståelse af forskning: forskere laver dimser
    Når jeg læser deres dokumenter, får jeg indtrykket af, at de er SMI forskere eller produktudviklere.
    Jeg mener, at web 2.0 giver muligehed for at udveksle erfaringer mellem forskere og praktikere på rigtigt interessante måder. Forskere, som kan bruge praktikeres data og praktikere, som kan involvere teorier/statistikker i deres arbejde - direkte.

    Det giver nogle interessante positioneringsmuligheder.

    3. P(Arousal |GSR,HRV,MT_assesment) - matematikken ligner den jeg peger på.
    Skærmbilledet fra MIT-Affective Computings hjemmeside.
    Skitse af modellering af relation mellem Rage, Sadness og Anger

    De peger i nedenforstående citat på at emotioner kan modelleres som states og ved hjælp af sandsynligheder. Emotionerne skifter ikke vilkårligt, men influeret af den nuværende emotionelle tilstand og den forrige. Hvis et menneske er rasende og ude af kontrol er det meget lidt sandsynligt at vedkommende i øjeblikket efter er fattet, rolig og kærlig. I matematikken kaldes det et Markov egenskab.


    Men de skriver kun om en verden, som er klinisk og hvor praktikerens kompetence og indsigt ikke har relevans eller værdi. Hvilket jeg ikke vil afskrive. Kan en musikterapeuts vurdering af en klients expressivitet, fysiske formåen og dagsform være valide og derfor påvirke vurderingen af musikterapiens effekt?
    Jeg mener, det godt kan modelleres. Det er en diskussion med musikterapeuter værd.


    "P(Arousal |GSR,HRV,MT_assesment)" betyder:
    Givet måling på Galvanic Skin Response, Heart Rate Variability samt musikterapeuts almene vurdering, hvilken type arousal har klienten lige nu?

    venlig hilsen

    Morten





    tirsdag den 8. februar 2011

    nye tiltag

    Herligt at der nu er mulighed for at anskaffe apparatur.
    Måske vi skal overveje at lave en form for nyhedsblad, side, et eller andet , hvor vi kan fortælle alle de andre om hvad det er vi har gang i.
    Der er jo snart en del at fortælle.

    Niels

    Adgang til blog og sensortyper

    Hej Niels,
    Adressen på bloggen er http://humansensing.blogspot.com/
    Din login er hannibal@hum.aau.dk. Dit password kender jeg ikke.
    Det er en stor fordel for mig at vores vidensopbygning finder sted et sted. Senere vil vores blog kunne bruges ifht interesserede.

    "Pulsuret" måler heart rate variability. Det er interessant.
    Jeg vil gerne løbe dem igennem sammen med dig, så vi spekulere i hvorledes arousal kan måles.
    Så når du næste gang er på KS3, så besøg mig!

    :-)
    Morten


    %%%%%%%%%%%%%%%%

    Hej Morten, Anders og Hanne
    Jeg mailer, da jeg simpelthen ikke kan huske, hvordan jeg komme ind på bloggen. Endsige finder den for nu at være helt ærlig. Jeg beklager, men jeg synes af en eller anden grund, det er noget indviklet.
    Men uanset:
    Mht. til indkøb så kan jeg se, at det ene er et puls ur og det andet ser ud som en energi måler af en slags. Er det rigtigt? Altså ikke noget med arousal i den forstand.

    Det med EEG lyder spændende. Jeg vil i hvert tilfælde gerne vide mere.

    Kh. Niels

    mandag den 7. februar 2011

    7.marts - en god human sensing dag

    Hej Hanne Mette, Niels og Anders!
    1. Jeg startede dagen hos musikterapeuterne og det var fint. Vi fik vendt et par ting og sat nogle overvejelser igang. Jeg fik nævnt at jeg mener at eksperimenterne skal søges diskuteret med interessenter på AAU på et offentligt seminar ultimo maj eller primo juni.

    2. De sensorer, som min mæcen vil søge bevilget er
    Sensewear fra Bodymedia
    Galvanic Skin Response and a couple of other sensors:
    http://sensewear.bodymedia.com/SW-Learn-More/Product-Overview

    Hearttracker professional fra Biocom
    Heart Rate Variability(ECG)
    http://www.biocomtech.com/products/stress-sweeper

    Min mæcen har sagt at vi blot skal "go ahead". Den formelle beslutning finder dog først sted slutningen af marts/primo april. De bestilles i 3 eksemplarer.

    Niels nævnte at det er vigtigt med trådløst udstyr. Hearttracker findes i trådløs version, men jeg valgte den ikke trådløse. Måske kan det gøres om?

    3. Jeg bessøgte en EEG-maskine og Laura Petrini, neuropsykolog på SMI
    Laura var sød og imødekommende og det var et interessant møde. EEG signaler er i virkeligheden 4 typer signaler og de indsamles fra 20-30 sensorer, som findes i en badehat. De 20-30 sensorer samlede informationer om hjerneaktivitet i forskellige dele af hjernen som har forskellig funktion. At tage badehætten på tager cirka 1 time. At betjene udstyret kræver en lille EEG-styrmandseksamen. Som Laura dog tilbød os at en af os kunne få. At få relevante data krævede ikke kun data indsamling, men også en model over hvad det var, som man mente, disse data kunne sige. Det sidste kræver mere end  hvad der er resourcer til i et Proof of Concept eksperiment. Men hjernen er interessant, såfremt man vil måle arousal og kroppens reaktion på diverse stimuli. Hun vil gerne hjælpe os og glædede sig over at forskere på hum. lavede eksperimenter. Jeg tilbød hende en gæsteforelæsning i Persuasive Technology, hvilket hun også var interesseret i. Og hun er interesseret i deltagelse i et seminar, hvor vi fremlægger vores resultater fra eksperimenterne.

    Vi ses i - hvertfald - den 1. marts

    venlig hilsen

    Morten