Aga Bojko - NeuroUX: Smoke and Mirrors or the Future of UX Research
Click here to load reader
-
Upload
wudtallinn -
Category
Documents
-
view
21.785 -
download
0
description
Transcript of Aga Bojko - NeuroUX: Smoke and Mirrors or the Future of UX Research
smoke and mirrorsor the future ofuser experience research?
@agabojkoneuroUX
Aga Bojko, GfK User Centric
neljapäev, 29. november 12
neljapäev, 29. november 12
neljapäev, 29. november 12
neljapäev, 29. november 12
neljapäev, 29. november 12
neljapäev, 29. november 12
neljapäev, 29. november 12
neljapäev, 29. november 12
neljapäev, 29. november 12
neljapäev, 29. november 12
“you should talk about the future of UX”
Imag
e S
ourc
e: h
ttp://
talip
sism
an.d
evia
ntar
t.com
/art/
Futu
re-C
ity-1
8267
5382
neljapäev, 29. november 12
yeah OK, let me just get my crystal ball…
neljapäev, 29. november 12
emerging UX research methods
neljapäev, 29. november 12
what about old-school research methods?
neljapäev, 29. november 12
observing what people do
neljapäev, 29. november 12
listening to what people say
neljapäev, 29. november 12
user testing = foundation of UX research
neljapäev, 29. november 12
but the UX field is maturing…
neljapäev, 29. november 12
people have many options
neljapäev, 29. november 12
people have many options
neljapäev, 29. november 12
people have many options
neljapäev, 29. november 12
same product, different brands
neljapäev, 29. november 12
usability is not enough to win the race
neljapäev, 29. november 12
experiences must exceed expectations
neljapäev, 29. november 12
but how do we measure that?
neljapäev, 29. november 12
what do users think? how do they feel?
neljapäev, 29. november 12
UX researchers are digging deeper
neljapäev, 29. november 12
starting to use sophisticated instruments
neljapäev, 29. november 12
to understand biological reactions
neljapäev, 29. november 12
recognizing facial expressions
neljapäev, 29. november 12
measuring brain activity
neljapäev, 29. november 12
tracking users’ eye movements
neljapäev, 29. november 12
to better understand the user experience
neljapäev, 29. november 12
recognizing
facialexpressions
neljapäev, 29. november 12
why care about facial expressions?
neljapäev, 29. november 12
facial expressions indicate emotions
neljapäev, 29. november 12
facial expressions indicate emotions
neljapäev, 29. november 12
facial expressions indicate emotions
neljapäev, 29. november 12
from Charles Darwin to Paul Ekman
neljapäev, 29. november 12
facial action coding system (FACS)
neljapäev, 29. november 12
FACS affect interpretation dictionary
Anger: 4+5+7+23Disgust: 9+15+16Fear: 1+2+4+5+20+26Happiness: 6+12Sadness: 1+4+15Surprise: 1+2+5B+26Contempt: R12A+R14A
neljapäev, 29. november 12
facial electromyography (fEMG)
Imag
e S
ourc
e: h
ttp://
ww
w.e
mg-
eeg.
com
/tag/
beyi
n-da
mar
-ultr
ason
u
neljapäev, 29. november 12
video-based solutions are less intrusive
neljapäev, 29. november 12
EmoVision dashboard
Imag
e S
ourc
e: h
ttp://
third
sigh
t.co/
prod
ucts
/em
ovis
ion/
neljapäev, 29. november 12
FaceReader dashboard
Imag
e S
ourc
e: h
ttp://
ww
w.n
oldu
s.co
m/h
uman
-beh
avio
r-re
sear
ch/p
rodu
cts/
face
read
er
neljapäev, 29. november 12
neljapäev, 29. november 12
requires stable head (no talking!)
neljapäev, 29. november 12
no face touching
neljapäev, 29. november 12
doesn’t work well with glasses
neljapäev, 29. november 12
facial hair can be a problem
neljapäev, 29. november 12
needs more lighting than usual
neljapäev, 29. november 12
recognizes simple & strong expressions
neljapäev, 29. november 12
recognizes simple & strong expressions
neljapäev, 29. november 12
…but participants’ expressions are subtle
neljapäev, 29. november 12
measuring
brainactivity
neljapäev, 29. november 12
neljapäev, 29. november 12
neljapäev, 29. november 12
brain parts map to cognitive functions
neljapäev, 29. november 12
fMRI = functional magnetic resonance imaging
neljapäev, 29. november 12
fMRI machine = giant donut magnet
neljapäev, 29. november 12
loud and you can’t move
neljapäev, 29. november 12
the control room
Imag
e S
ourc
e: h
ttp://
ww
w.n
ews.
wis
c.ed
u/ne
wsp
hoto
s/da
vids
on08
.htm
l
neljapäev, 29. november 12
the control room
Imag
e S
ourc
e: h
ttp://
ww
w.n
ews.
wis
c.ed
u/ne
wsp
hoto
s/da
vids
on08
.htm
l
neljapäev, 29. november 12
the brain is always on
neljapäev, 29. november 12
to learn anything, we must subtract
Imag
e S
ourc
e: h
ttp://
ww
w.b
aars
-gag
e.co
m/
neljapäev, 29. november 12
if we want to see where emotions live…
neljapäev, 29. november 12
Image S
ource: http://ww
w.baars-gage.com
/
neljapäev, 29. november 12
neljapäev, 29. november 12
coke vs. pepsi fMRI study
Imag
e S
ourc
e: h
ttp://
ww
w.m
oder
ncan
certr
eatm
ents
.com
/hea
rt-he
alth
/
neljapäev, 29. november 12
published in “neuron” in 2004
Article Source: http://www.sciencedirect.com/science/article/pii/S0896627304006129
neljapäev, 29. november 12
Image Source: http://www.yalescientific.org/2011/05/your-brain-on-food
what participants saw and tasted
neljapäev, 29. november 12
how did the brain react?
?
neljapäev, 29. november 12
how did the brain react?
brand-cued brain activity
hippocampus DLPFC
light-cued brain activity-[ [ [[ =
neljapäev, 29. november 12
pepsi = taste coke = taste + brand
neljapäev, 29. november 12
who uses fMRI to understand users?
neljapäev, 29. november 12
who uses fMRI to understand users?
neljapäev, 29. november 12
who uses fMRI to understand users?
neljapäev, 29. november 12
who uses fMRI to understand users?
neljapäev, 29. november 12
low temporal resolution (slow)
neljapäev, 29. november 12
subjects can’t move
Image Source: http://www.newswise.com/articles/intervention-helps-children-with-sickle-cell-disease-complete-mri-tests-without-sedation
neljapäev, 29. november 12
costs $1 to 5 million
neljapäev, 29. november 12
weighs 5 – 10 tons
Imag
e S
ourc
e: h
ttp://
prac
tical
fmri.
blog
spot
.com
/201
2/05
/3-t-
gets
-new
-hom
e.ht
ml
neljapäev, 29. november 12
not very portable
Imag
e S
ourc
e: h
ttp://
prac
tical
fmri.
blog
spot
.com
/201
2/05
/3-t-
gets
-new
-hom
e.ht
ml
neljapäev, 29. november 12
not very portable
Imag
e S
ourc
e: h
ttp://
prac
tical
fmri.
blog
spot
.com
/201
2/05
/3-t-
gets
-new
-hom
e.ht
ml
neljapäev, 29. november 12
EEG = electroencephalography
Imag
e S
ourc
e: h
ttp://
stop
czyn
ski.c
om/c
ateg
ory/
unca
tego
rized
/
neljapäev, 29. november 12
electrical activity of the brain (raw data)
neljapäev, 29. november 12
“doesn’t show valence”
neljapäev, 29. november 12
but showing valence seems to be possible
neljapäev, 29. november 12
cheaper and more portable than fMRI
neljapäev, 29. november 12
better temporal resolution (real-time)
neljapäev, 29. november 12
conductive gel but no hair gel
Imag
e S
ourc
e: h
ttps:
//sha
re.s
andi
a.go
v/ne
ws/
reso
urce
s/ne
ws_
rele
ases
/bra
in_s
tudy
/
neljapäev, 29. november 12
emotiv headset (dry EEG)
Imag
e S
ourc
e: h
ttp://
ww
w.fu
elyo
urpr
oduc
tdes
ign.
com
/min
d-co
ntro
l-is-
the-
next
-use
r-in
terfa
ce/
neljapäev, 29. november 12
poor spatial resolution (best for surface)
neljapäev, 29. november 12
we must bridge the gap
neljapäev, 29. november 12
eyetracking
neljapäev, 29. november 12
neljapäev, 29. november 12
neljapäev, 29. november 12
way back when
neljapäev, 29. november 12
NOW: misleadingly easy a lot of misuse
neljapäev, 29. november 12
why do the eyes move?
neljapäev, 29. november 12
it’s all about the fovea
neljapäev, 29. november 12
eyes move to bring things into focus
neljapäev, 29. november 12
looking (foveating) ≈ paying attention
neljapäev, 29. november 12
Tobii T60 (remote eye tracker)
neljapäev, 29. november 12
Tobii X60 + mobile stand
neljapäev, 29. november 12
Tobii eye tracking glasses
neljapäev, 29. november 12
SMI eye tracking glasses
Imag
e S
ourc
e: h
ttp://
ww
w.e
yetra
ckin
g-gl
asse
s.co
m/g
alle
ry/
neljapäev, 29. november 12
SMI eye tracking glasses
neljapäev, 29. november 12
faceLAB from Seeing Machines
Imag
e S
ourc
e: h
ttp://
ww
w.s
eein
gmac
hine
s.co
m/p
dfs/
broc
hure
s/fa
ceLA
B-5
neljapäev, 29. november 12
pupil vs. corneal reflection
neljapäev, 29. november 12
heatmaps are not for analysis
neljapäev, 29. november 12
gaze plots are for qualitative analysis
neljapäev, 29. november 12
neljapäev, 29. november 12
gaze plots are for qualitative analysis
neljapäev, 29. november 12
gaze plots are for qualitative analysis
neljapäev, 29. november 12
gaze plots are for qualitative analysis
neljapäev, 29. november 12
measures are for quantitative analysis
neljapäev, 29. november 12
Eye tracking
MEASURES OF
Area noticeabilit
Percentage of participants who noticed an AOINumber of
Area interest
Number of fixations on an AOITotal dwell time
Emotional arousal
Pupil diameter
MEASURES OF
Mental workload
Pupil diameter
Cognitive processing
Average fixation duration
Target findability
Time to 1st fixation on the targetNumber of
Target recognizabi
Time from 1st fixation on target to clickNumber of visits
practical classification of measures
neljapäev, 29. november 12
time to 1st fixation = noticeability measure
neljapäev, 29. november 12
120
pupil size = emotional arousal measure
neljapäev, 29. november 12
121
pupil size = emotional arousal measure
neljapäev, 29. november 12
2 3
6
8
10 9
1
5
4
7
11
ave fixation length = processing measure
neljapäev, 29. november 12
ave fixation length = processing measure
neljapäev, 29. november 12
mascara can be confused with the pupil
neljapäev, 29. november 12
droopy eyelids can cover the pupil
neljapäev, 29. november 12
glasses extra reflections & shadows
neljapäev, 29. november 12
air bubbles can cause multiple reflections
neljapäev, 29. november 12
dynamic content long analysis
Imag
e S
ourc
e: h
ttp://
ww
w.fl
ickr
.com
/pho
tos/
smie
yetra
ckin
g/68
6909
4229
/in/p
hoto
stre
am
neljapäev, 29. november 12
mobile devices can be hard to track
Imag
e S
ourc
e: h
ttp://
ww
w.w
ebus
abili
ty.c
o.uk
/wha
t-we-
do/m
obile
-test
ing/
neljapäev, 29. november 12
EEG + eye tracking
neljapäev, 29. november 12
EEG + eye tracking
neljapäev, 29. november 12
what doesit all mean for us?
neljapäev, 29. november 12
be careful…
neljapäev, 29. november 12
…but inquisitive and unafraid
neljapäev, 29. november 12