Post on 16-Jan-2016
description
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation bayésienne de la perception et de l’action
Julien DiardLaboratoire de Psychologie et NeuroCognition – CNRS
UE Cognition bayésienne24/11/2009
http://diard.wordpress.fr Julien.Diard@upmf-grenoble.fr
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
2
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
3
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation de la perception multi-
• Multi-?– Intramodale : multi-indice– Multimodale : multi-sensorielle
• Modèle de pondération linéaire
4
(Lambrey, 2005)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle de pondération sensorielle
5
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation de la
perception• Perception
– Un problème inverse (Poggio, 1984)
• Modèle bayésien– Inversion + hypothèse
d’indépendance conditionnelle–
6
S1
S2
Sn
V
S1S2Sn
V?
€
P S1S2K SnV |C( )
= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
7
€
P S1S2K SnV |C( )
= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )• Vision
– Perception des plans : préférence pour des plans rigides, de stationnaires (Colas, 06)
– Perception des formes (revue de Kersten et al., 04) :
• préférence pour les objets convexes• préférence pour des lumières venant
du haut, stationnaires• préférence pour un point de vue
situé au dessus de la scène
• Proprioception (Laurens, 08)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
8
• Fusion multi-indices– Haptique : géométrie et force (Drewing &
Ernst, 06)– Vision (Kersten et al., 04)
• Fusion multi-sensorielle– Visuo-haptique (Ernst & Banks, 02)– Visuo-acoustique
• Localisation de sources (Alais and Burr, 04, Battaglia et al., 03; Körding et al., 07, Sato et al., 07)
• effet McGurk• Reconnaissance de voyelles (Gilet, 06)
€
P S1S2K SnV |C( )
= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
9
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Nature, 429–433, 2002
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
11
Humans integrate visual and haptic information in a
statistically optimal fashion
• Mécanisme d’integration visuo-haptique par fusion de gaussiennes
• Utilisé par les humains
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
12
Plan
• Protocole expérimental• Modèle bayésien de fusion
capteurs• Comparaison du modèle au
données
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
13
Matériel expérimental
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
14
Stimuli visuels
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
15
Stimuli et tâche
• 4 niveaux de bruit visuel : 0% 67% 133% 200%
• 1 niveau haptique
• 1 s de présentation
• Tâche de choix forcé– laquelle de ces deux
barres est la plus grande ?
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
16
Cas mono-modal
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Integration visuo-haptique
• Comparison stimulus – visual and haptic
heights equal– vary in 47-63 mm
• Standard stimulus– visual and haptic
heights differ– Δ = {±6 mm, ±3
mm, 0}– mean is 55 mm
17
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Integration visuo-haptique
0%
18
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
0%67%
Integration visuo-haptique
19
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
0%67%
133%
Integration visuo-haptique
20
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
0%67%
133%200%
Integration visuo-haptique
21
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan
• Protocole expérimental• Modèle bayésien de fusion
capteurs• Comparaison du modèle au
données
22
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle bayésien de fusion « naïve »
23
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle bayésien de fusion « naïve »
24
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Estimateur de maximum de vraisemblance– – Par opposition à Bayésien
• « Statistiquement optimal »– Moindre variance :
Modèle bayésien de fusion « naïve »
25
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan
• Protocole expérimental• Modèle bayésien de fusion
capteurs• Comparaison du modèle au
données
26
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Quelles gaussiennes ?
• Choix d’une gaussienne parmi 2
• Point d’égalité subjective– PSE : moyenne
• Seuil de discrimination–
T = 0.085 x 55 mm
0.04 x 55 mm
27
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Integration visuo-haptique
• Comparison stimulus – visual and haptic
heights equal– vary in 47-63 mm
• Standard stimulus– visual and haptic
heights differ– Δ = {±6 mm, ±3
mm, 0}– mean is 55 mm
28
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Integration visuo-haptique
29
0%67%
133%200%
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
0%67%
133%200%
Comparaison modèle - données
30
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
31
Moyennes prédites - observées
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
32
JND
Variances prédites - observées
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Questions, critiques ?
33
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
34
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Perception audio-visuelle
• Effet ventriloque
(Alais and Burr, 2004)
35
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Causal inference (Körding et al., 07)
• Modèle à 1 source, modèle à 2 sources
• Intégration sur s, sA, sv, C
36
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Données expérimentales
37
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
38
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Pour chaque sujet– Calcul des
paramètres sur la moitié des données : R2 = 0.98
– Validation croisée sur l’autre moitié : R2 = 0.96
39
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
40
Modèle sans sommation sur C (tirage du C le plus probable)
Modèle sans alternative à 2 sources : P(C=1) = 1
Modèle sans alternative à 1 source : P(C=2) = 1
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
41
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Question ouverte
• De nombreux exemples d’application du modèle de fusion
• Limite de validité du modèle ?
• Valeur d’un modèle qui s’applique partout ?
42
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
43
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation du contrôle
• Mouvements de pointage, volontaire, chez l’humain
• Etude des régularités– Lois du mouvement
• Hypothèses sur les mécanismes – Modèles (neuro)cognitifs
44
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
3 lois
• Isochronie• Loi de Fitts• Loi de la puissance 2/3
45
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
46
Tâche : Saisie d’un cylindre à différentes distances (40,32,25)
Résultats : Temps similaire/augmentation de la vitesse
L’Isochronie : la durée du mouvement reste stable quelque soit l’amplitude du mouvement
Ex : Saisie (Jeannerod 1984)
La durée du mouvement semble fixée à l’avance
Palluel-Germain, 08
Vitesse (cm/s)
Durée (ms)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Cible de taille W à une distance D
47
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
48
Loi de puissance de 2/3V(t) = K * R(t) 1-βK = gain de vitesseV(t) = vitesse du mouvementR(t) = rayon de courbure1-β = 1/3
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèles de planification de mouvements
49
Planification de mouvement =Sélection d’une trajectoire selon un coût
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Observations• Les trajectoires de la main
sont invariantes et quasiment rectilignes quelles que soit les positions initiales et terminales du mouvement et s’accompagnent toutes d’un profil de vitesse en cloche.
• Au contraire, lorsque les mouvements sont décrits selon leur trajectoire articulaire une grande variabilité est observée
50
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Espaces de contrôle
• Planification intrinsèque– Espace articulaire
• Planification extrinsèque– Espace cartésien
51
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
52
Trajectoire observéeChangement angulaire des articulations
D’après Hollerbach & Atkeson (1986)
Modèle d’interpolation linéaire dans l’espace
articulaire
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle d’interpolation linéaire dans l’espace
articulaire
53
βα
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
54
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Espace de travail
• Minimisation des dérivées de l’endpoint
– n=2 minimum acceleration– n=3 minimum jerk– n=4 minimum snap
55
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Minimum jerk
• Prédit des segments droits• Pas observés pour des
mouvements de grande amplitude
56
Lacquaniti et al. (1986)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Espace des couples moteurs
• Minimisation des couples zi générés à chaque articulation
57
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Minimum variance
• Bruit dépendant du signal (signal dependent noise SDN)
58
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
59
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Modélisation bayésienne d’une boucle sensorimotrice : application à l’écriture
60
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
61
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Questions ouvertes
• Modélisation bayésienne de boucles sensorimotrices
Vraiment ?
62
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Boucle ouverte
63
musclesMotor commands force
Body partState change
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
64
musclesMotor commands force
Body partState change
Sensory system
ProprioceptionVision
Audition
Measured sensory
consequencesIntegration
Tps
Vitesse
• Boucle fermée
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
65 65
muscles
Motor commandsforce
Body partState change
Sensory system
ProprioceptionVision
Audition
Measured sensory
consequencesIntegration
40 ms
100 ms
???
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
66
musclesMotor commandsforce
Body partState change
Sensory system
ProprioceptionVision
Audition
Measured sensory
consequences
Forward model
Predicted sensory consequences
Integration
Belief
What we sense depends on what we predicted
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
67
Expérience de saisie
Expérience d’auto chatouillage
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation d’une boucle sensorimotrice
• Apprentissage = passage d’une boucle fermée à une
boucle ouverte ?
68
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Une boucle vs. des boucles
• Hiérarchie de boucles• Constantes de temps• Apprentissage hiérarchique
69
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Merci de votre attention !
Questions ?