Dizajn i evaluacija afektivnih

ozbiljnih igara u svrhu regulacije

emocija

Petar Jerčić, PhD student

Blekinge Institute of Technology, Švedska

30. listopada 2013, FESB

• Emocije - ključni faktor koji utječe na odluke u

ljudskom djelovanju.

• Regulacija emocija - pomaže nadići pristranost

ovakvog odlučivanja. Vodi boljoj izvedbi pri

odlukama.

• Ozbiljne igre - tehnološko rješenje učenju

regulacije emocija metodom (bio)feedback-a.

Sadržaj

• Što je emocija?

• Modeli emocija

• Regulacija emocija

• Psihofiziologija

• Brain-Computer Interface (Bci)

• Afektivno računarstvo

• Primjeri afektivnih ozbiljnih igara

Što je emocija? (James, 1884)

• Emotions are dispositions, or states of

readiness, that help people and organisms to

interact with the environment (Lang, 1995).

• Emotions are powerful, elusive, dynamic

processes. They have the capacity to regulate

other processes and to be regulated. (Cole et

al., 2004, p. 330)

• Lang, P. J. (1995). The emotion probe: Studies of motivation and attention. American psychologist, 50(5):372-385. • Cole, P. M., Martin, S. E., and Dennis, T. A. (2004). Emotion Regulation as a Scientific Construct : Methodological

Challenges and Directions for Child Development Research. Child Development, 75(2):317-333.

Naučiti kako poboljšati reguliranje

emocija?

• Tradicionalne metode učenja nisu dovoljne

kod zadatka učenja regulacije emocija

(Fenton-O'Creevy et al., 2012a)

• Ozbiljne igre omogućavaju učenicima

postavljanje u situaciju nemoguću u stvarnom

životu (Corti, 2006)

• Ozbiljne igre mogu pozitivno utjecati na razvoj

raznih vještina (Ellis et al., 2006) • Fenton-O'Creevy, M., Conole, G., Lins, J. T., Peffer, G., Adam, M. T. P., Lindley, C. A., Clough, G., and Scanlon, E. (2012a). A

learning design to support the emotion regulation of investors. In OECD-SEBI International Conference on Investor Education, pages 1-16.

• Corti, K. (2006). Games-based Learning; a serious business application. PIXE- Learning Limited., pages 1-20. • Ellis, H., Heppell, S., Kirriemuir, J., Krotoski, A., and Mcfarlane, A. (2006). Unlimited Learning: Computer and Video Games

in the Learning Landscape. Technical report, Entertainment and Leisure Software Publishers Association and Press enquiries.

Modeliranje emocija

• Kombinacija valencije i uzbiđenja (valence i

arousal) (Russell, 1980)

• Zjenica?

• Russell, J. (1980). A circumplex model of affect. Journal of personality and social psychology, 39(6):1161-1178.

Kako mjeriti emocije?

• Psihofiziološke mjere se često koriste u istraživanju emocija i koncentracije na stimulus, u cilju boljeg razumijevanja kognitivnih procesa

• Moždani valovi (electroencephalography, Eeg)

• Vodljivost kože (galvanic skin response, Gsr)

• Kardiovaskularna mjerenja (heart rate, Hr; heart rate variability, Hrv)

• Aktivacija mišića (electromyography, Emg)

• Promjene na zjenici (pupillometry or pupil dilation, Pd)

Psihofiziološki signali

Međuigra različitih afektivnih sustava

• Međuigra simpatetskog (SNS) i

parasimpatetskog (PNS) živčanog sustava -

mjera mogućnosti regulacije emocija

• Kombinacija različitih modaliteta zajedno -

obogaćivanje interakcije i dobivanje dodatnih

informacija iz podataka.

Primjer povezanosti srca i zjenice

Primjer povezanosti srca i zjenice

Brain-Computer Interface (Bci)

• Eeg signal - aktivacija područja mozga i ritam

• Schalk et al. (2008) definira

• (i) the recording device must rely on signals recorded from the brain;

• (ii) there must be at least one recordable brain signal that the user can learn how to intentionally manipulate;

• (iii) real-time processing must be available;

• (iv) the user must obtain feedback.

• Ne-invazivni Brain-Computer Interface, nosivi senzor bez ikakkve ozljede korisniku.

• Schalk, G., Brunner, P., Gerhardt, L., Bischof, H., and Wolpaw, J. (2008). Braincomputer interfaces (BCIs): Detection instead of classification. Journal of Neuroscience Methods, 167(1):51{62.

Brain-Computer Interface (Bci)

Player

FieldTrip buffer

BCI detection system

Game application

Brain-Computer Interface (Bci)

• Event Related Spectral Potential (ERSP)

• Promjena snage signala u određenom

frekvencijskom području ovisno o zadatku

• Lokacija i frekvencija reakcije ovisi o

mentalnom zadatku koji korisnik izvodi

Brain-Computer Interface (Bci)

• Signal generiran iz motornog područja

Brain-Computer Interface (Bci)

• Dekodiranje Event Related Spectral Potential (ERSP) – Averaging, Filtering, Detrending, bad-channel

identification, re-referencing (CAR), spectral-filtering [7 24], ERSP Feature Extraction/ Selection, bad-trial identification, linear classifier-training

– External Artifacts (Bad-channels, 50Hz, Slow electrode drifts, Movement effects – head, wiggling, Eye-movement / Eye blinks, Muscle movement, jaw-clenching, frowning, ear-waggling

– Internal Artifacts (Eyes open vs. Closed, Relaxation (deep-breathing) vs. Stressed, Hyperventilation)

Blankertz, B., Sannelli, C., Halder, S., Hammer, E. M., Kübler, A., Müller, K.-R., Curio, G., et al. (2010). Neurophysiological predictor of SMR-based BCI performance. NeuroImage, 51(4), 1303–9.

Brain-Computer Interface (Bci)

• Progresivnim učenjem elemenata - brže

započinjemo igru gdje napredne elemente

učimo akumulacijom prethodnih blokova

podataka

Afektivno računarstvo (Affective

computing)

• Definirano kao "computing that relates to, arises from, or deliberately influences emotions" (Picard, 2000, p. 3).

• Inteligentni softver - mogućnost osjeta i odgovora na korisnikova afektivna stanja izmjerena fiziološkim putem

• Cilj je stvoriti računalo koje odgovara na korisnikove emocije, kogniciju i motivaciju

• Fiziološko računarstvo - affective computing u realnom vremenu (Fairclough, 2009)

• Picard, R. (2000). Affective Computing. The MIT Press, 1st edition. • Fairclough, S. H. (2009). Fundamentals of physiological computing. Interacting with Computers, 21(1-2):133-145.

(Bio)feedback – sredstvo učenja

• Biofeedback prikazuje fiziološke parametre

akustično ili vizualno

• Direktni feedback o skrivenim procesima

• Može povećati pozornost korisnika na svoja

emocionalna stanja - kognitivna pozornost

fizioloških procesa (Wang et al., 2010)

• Wang, Q., Sourina, O., and Nguyen, M. K. (2010). EEG-Based "Serious" Games Design for Medical Applications. 2010 International Conference on Cyber- worlds, pages 270-276.

Regulacija emocija

• Ljudi uglavnom koriste dvije općenite strategije - ponovna procjena i potiskivanje (reappraisal i suppression)

• Gross (1998b) definira:

• Cognitive reappraisal - "construing a potentially emotion-eliciting situation in non-emotional terms", the process of constructing a personal interpretation of a situation. – Smanjuje emocionalno iskustvo i nema utjecaj na memoriju

• Expressive suppression - "inhibiting ongoing emotion-expressive behavior", the process of deliberately trying to stop thinking about certain thoughts. – Smanjuje iskazivanje emocije ali utječe na memoriju

• Gross, J. J. (1998b). The Emerging Field of Emotion Regulation : An Integrative Review. Review of General Psychology, 2(3):271-299.

Model regulacije emocija

Auction Game

Aiming Game

Ozbiljne igre

• Klinička medicina - biofeedback rješava

probleme anksioznosti, fobija, post-traumatskog

stresa, autizma, hiperaktivnosti ... (Wang et al.,

2010)

• Igre sa direktnim feebackom su dobar pedagoški

pristup - jasan cilj i duboko razumijevanje.

• Motivacija za ponovljeno učenje i zabava

• Koriste razne fiziološke senzore uz jasan cilj kako

popraviti neko stanje, koristeći feedback • Wang, Q., Sourina, O., and Nguyen, M. K. (2010). EEG-Based "Serious" Games Design for Medical Applications. 2010

International Conference on Cyber- worlds, pages 270-276.

Relax to Win (Sharry et al., 2003)

• Anksioznost

• Kontrola razine stresa, mjerenog ECG i GSR,

bolja učinkovitost u igri

• Sharry, J., McDermott, M., and Condron, J. (2003). Relax To Win Treating children with anxiety problems with a biofeedback video game. Eisteach, (2):22-26.

Unreal Tournament (Froment et al.,

2009)

• Razminiranje bombe u igri Unreal Tournament

• Mjerenje ECG, GSR i temperature tijela,

utječe na zamagljenost ekrana i smjer kretanja.

• Ideja je nagraditi igrača koji uspješno riješi

emocionalne probleme

• Froment, S., Ginibre, M., Mader, S., Sarffan, A., Schwartz, A., Soriano, D., Topol, A., and Dupire, J. (2009). AZ66: How Can We Play with Emotions? In ICEC 5709, volume 5709, pages 327-328.

Brainball (Hjelm, 2003)

• Prednost u igri dobiva igrač koji se opustio

najviše

• http://youtu.be/oBeGv_x4Tbs

• Hjelm, S. (2003). Research+ design: the making of Brainball. Interactions, 10(1):26-34.

Zahvaljujem se na vašoj pažnji