Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN...
-
Upload
truonglien -
Category
Documents
-
view
251 -
download
1
Transcript of Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN...
ARTS et METIERS ParisTech \ CNRS \ Le2i \ Institut Image \ 2 rue Thomas Dumorey 71100 Chalon sur Saône FRANCE
APPORTS DE LA REALITE VIRTUELLE
POUR LA REEDUCATION MOTRICE
Soutenance de Thèse
Etudiant: Van-Hanh NGUYEN
Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ
DANS LE CADRE DU PROJET ANR-SIMACTION
Réalisée à Institut Image, Arts et Métiers ParisTech
17 Décembre 2010
PLAN
Introduction
Outil d’évaluation du geste
Interaction Homme – Avatar Virtuel
Fouille de données de MoCap
Conclusion & perspectives
2 Apports de la réalité virtuelle pour la rééducation fonctionnelle
1
2
3
4
5
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
PLAN
Introduction
Outil d’évaluation du geste
Interaction Homme – Avatar Virtuel
Fouille de données de MoCap
Conclusion & perspectives
3 Apports de la réalité virtuelle pour la rééducation fonctionnelle
1
2
3
4
5
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Rééducation motrice
Neurones miroirs
Réalité virtuelle pour la rééducation motrice
Technologie
Avantages
Projet SimAction & problématiques
4
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Apports de la réalité virtuelle pour la rééducation fonctionnelle
5
Actions associées à des objets
Mouvements quotidiens
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Rééducation motrice
Entretenir & améliorer les capacités motrices des personnes âgées
Apports de la réalité virtuelle pour la rééducation fonctionnelle
6
Lobes externes du cerveau humain
Neurones Miroirs: Cortex moteur
Rééducation Motrice: neurones miroirs
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Les neurones miroirs: activés lorsqu'un individuobserveouexécuteune même action
Apports de la réalité virtuelle pour la rééducation fonctionnelle
Principe utilisé pour la rééducation motrice
[Buccino et al., 2004; Rizzolatti and Craighero, 2004; Binkofski et Buccino, 2004, 2006], [Nelles et al., 1999,
2001; Johansen-Berg et al., 2002]
7
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
RV pour la rééducation motrice: Technologie
Apports de la réalité virtuelle pour la rééducation fonctionnelle
Table virtuelle Ecran 3D CAVE
Equipement d’affichage
Caméras infra-rouges Vidéo caméra MotionPod (Movea Leti)
Système de capture du mouvement
Un outil très puissant pour la rééducation motrice
8
Avantages
Config
Apprentissage configurable
Feedback
Feedback de performance
Motivation
Motivation pour l’apprentissage
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
RV pour la rééducation motrice: Avantages
Apports de la réalité virtuelle pour la rééducation fonctionnelle
Capture de la trajectoire du mouvement pour améliorer l’apprentissage (Jaffe et al. 2004, Flash et al. 1985)
9
Avatar virtuel: point de vue de la 2ème& la 3èmepersonne
Apprentissage par observation et imitation
Améliorer l’interaction en temps réel
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
RV pour la rééducation motrice: Avantages
Apports de la réalité virtuelle pour la rééducation fonctionnelle
Rééducation motrice
Neurones miroir
Empathie posturale
Réalité virtuelle pour la rééducation motrice
Technologie
Avantages
Projet SimAction & problématiques
10
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Apports de la réalité virtuelle pour la rééducation fonctionnelle
Projet pluri-disciplinaire: Thérapie physique, Réalité Virtuelle, Sport, Clinique
Labellisé par ANR-2006
Partenaires: U887-INSERM, Le2i, LEAD, VirtuoFacto, EliteImage
11
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Projet SimAction
Apports de la réalité virtuelle pour la rééducation fonctionnelle
12
Système d’immersion permettant lavisualisation stéréoscopique de l’avatarvirtuel en 3D comme dans un miroir
Exemple de jeu physique (attraperdes balles virtuelles avec la main).
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Projet SimAction: Environnement en 3D stéréoscopique
Apports de la réalité virtuelle pour la rééducation fonctionnelle
Lunette stéréoscopique
Système MoCap temps réel
13
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Projet SimAction: problématiques scientifiques et technologiques
Apports de la réalité virtuelle pour la rééducation fonctionnelle
Apport de la réalité virtuelle pour la rééducation fonctionnelle 14
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Projet SimAction: problématiques scientifiques et technologiques
Apport de la réalité virtuelle pour la rééducation fonctionnelle 15
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Projet SimAction: problématiques scientifiques et technologiques
Apport de la réalité virtuelle pour la rééducation fonctionnelle 16
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Projet SimAction: problématiques scientifiques et technologiques
Apport de la réalité virtuelle pour la rééducation fonctionnelle 17
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Projet SimAction: problématiques scientifiques et technologiques
PLAN
Introduction
Outil d’évaluation du geste
Interaction Homme – Avatar Virtuel
Fouille de données de MoCap
Conclusion & perspective
18 Apports de la réalité virtuelle pour la rééducation fonctionnelle
1
2
3
4
5
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Apport de la réalité virtuelle pour la rééducation fonctionnelle 19
Un évaluateur de geste
Similarité entre
deux gestes
Représentation du
geste
Définition d’une
fonction de distanceValidation
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Apport de la réalité virtuelle pour la rééducation fonctionnelle 20
Similarité entre deux gestes
Représentation du geste
Définition d’une fonction
Validation
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
10..1),.
(cos)()(
)()(1 =
×= − k
BB
BBCenter
ik
i
Centeri
kik
i rr
rr
θ
Invariance temporelle et spatiale
Réduction du cout de calcul
θ
Apport de la réalité virtuelle pour la rééducation fonctionnelle 21
Similarité entre deux gestes
Représentation du geste
Définition d’une fonction
Validation
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
LCSS, wLCSS
Méthode pour mesurer la similarité entre deux séquences temporelles
Basée sur des modèles (model-based) Basée sur une fonction de la distance
Modèle de Markov caché Modèle statistique
Réseau de neuronesRéseau bayésien
Machine à vecteur de support
Fonction métrique Fonction non-métrique
Distance euclidienne: L2
Distance Manhattan L1
Distance normalisée L∞
DTW, wDTW
EDR
ERP
TQuEST
DISSIMSwaleSpade
Les meilleures méthodes: Dynamic Time Warping (DTW) & Longest common subsequence (LCSS)
22
LCSS en temps réel
Synchronisation entre le mouvement référence de l’avatar virtuel et celui du sujet
Similarité entre deux mouvements
Apport de la réalité virtuelle pour la rééducation fonctionnelle
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Similarité entre deux gestes
Représentation du geste
Définition d’une fonction
Validation
23
Posture Mouvement simple
Mouvement complexe
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Expérience & résultat: Préparation de données
Apport de la réalité virtuelle pour la rééducation fonctionnelle
Apport de la réalité virtuelle pour la rééducation fonctionnelle 24
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Expérience & résultat: Vidéos
Suivre un geste simple
Apport de la réalité virtuelle pour la rééducation fonctionnelle 25
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Expérience & résultat: Vidéos
Suivre un geste complexe
26 Apport de la réalité virtuelle pour la rééducation fonctionnelle
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Expérience & résultat9 sujets âgés de 22-43 ans
Résultat: Posture: similarité � 100%
Mouvement simple à suivre: Haute similarité (94% - 99%)
Différence entre mouvement simple et mouvement complexe
27
ANOVA : Les valeurs significatives entre deux groupes p < 0,05
Apport de la réalité virtuelle pour la rééducation fonctionnelle
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Expérience & résultat
Méthode simple et robuste pour mesurer la performance du
sujet à reproduire un geste
Expérience pour valider l’outil
Approche pour évaluer le niveau d’apprentissage du geste
humain
Apport de la réalité virtuelle pour la rééducation fonctionnelle 28
Evaluation du geste: conclusion
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
PLAN
Introduction
Outil d’évaluation du geste
Interaction Homme – Avatar Virtuel
Fouille de données de MoCap
Conclusion & perspective
29 Apports de la réalité virtuelle pour la rééducation fonctionnelle
1
2
3
4
5
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
30 Apport de la réalité virtuelle pour la rééducation fonctionnelle
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Interaction Homme – Avatar virtuel
Rôle de l’avatar virtuel: 2 activités principales pour la rééducation motrice
Apprendre le geste: point de vue de la 2ème& 3ème personne
Contrôler l’avatar à jouer du jeu: point de vue de la 3ème personne
Professeur virtuel
Amélioration de l’interaction
Observation & imitation
Interactif
Motivation
31 Apport de la réalité virtuelle pour la rééducation fonctionnelle
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Interaction Homme – Avatar virtuel
Evaluation de l’influence de l’avatar virtuel
Evaluation de l’utilisabilité de l’avatar virtuel
Plusieurs types de représentations
32 Apport de la réalité virtuelle pour la rééducation fonctionnelle
Squelette Avatar virtuel
en 2D
Avatar virtuel
en 3D
Face-à-Face
(b) (d)
Face-à-Dos
(c) (e)
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Interaction Homme – Avatar virtuel
Méthode: 5 conditions testées expérimentalement
33 Apport de la réalité virtuelle pour la rééducation fonctionnelle
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Interaction Homme – Avatar virtuel
Expérience & résultat
Deux niveaux de balle:
� Simple à attraper
� Difficile à attraper
Evaluateur:
� longueur du trajet de balle
Cas d’étude: apprentissage de geste
8 gestes classés en 2 groupes: simple et complexe
Evaluateur: similarité entre deux gestes
34 Apport de la réalité virtuelle pour la rééducation fonctionnelle
Exemple de geste lent et simple Exemple de geste rapide et complexe
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Interaction Homme – Avatar virtuel
Expérience & résultat
Sujet: 9 sujets sains de 22-43 ans
Chacun joue 5 fois
Chacun apprend certains des 40 gestes
35 Apport de la réalité virtuelle pour la rééducation fonctionnelle
Expérience & résultat
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Vidéo: jeu balle
36 Apport de la réalité virtuelle pour la rééducation fonctionnelle
Niveau difficile du jeu
Le mode Face-à-Dos en 3D de l’avatar virtuel a montré la meilleure performance mais pas de signification statistique.
Expérience & résultat
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
37 Apport de la réalité virtuelle pour la rééducation fonctionnelle
4ème type de représentation de l’avatar (Face-à-face en 3D)montre la meilleure performance
Pas de signification statistique ANOVA: p (<4,1>; <4,2>; <4,3>; <4,5>) = (0.04; 0.31; 0.00; 0.47) < 0.05 � Signification statistique
Expérience & résultat
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Approche nouvelle et quantitative pour évaluer l’utilisabilité de
l’avatar virtuel
Analyse statistique pour confirmer la signification de notre
évaluation
Approche utilisable pour analyser les effets d’autres aspects de
l’avatar virtuel
Perspective: évaluer d’autres aspects de l’avatar virtuel
38 Apport de la réalité virtuelle pour la rééducation fonctionnelle
Conclusion & perspective
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
PLAN
Introduction
Outil d’évaluation du geste
Interaction Homme – Avatar Virtuel
Fouille de données de MoCap
Conclusion & perspective
39 Apports de la réalité virtuelle pour la rééducation fonctionnelle
1
2
3
4
5
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Fouille de données de MoCap: 3 aspects principaux
Représentation de données MoCap
Fonction de distance
Techniques d’accélération de la recherche
40
Fouille de données de MoCap: Problématique
Apport de la réalité virtuelle pour la rééducation fonctionnelle
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
41
10..1),.
(cos)()(
)()(1 =
×= − k
BB
BBCenter
ik
i
Centeri
kik
i rr
rr
θ
{ } 10..1,),...,( 21 == kCM km
kkk
kθθθ
Apport de la réalité virtuelle pour la rééducation fonctionnelle
Fouille de données de MoCap: Représentation de MoCap
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Apport de la réalité virtuelle pour la rééducation fonctionnelle 42
Fouille de données de MoCap: Fonction de distance - DTW
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
C
U
γ(i,j) = d(qi,cj) + min{ γ(i-1,j-1) , γ(i-1,j ) , γ(i,j-1) }
d(q,c): distance de Manhattan
Complexité: O(n2)
),(),( nmCQDTW γ=
Apport de la réalité virtuelle pour la rééducation fonctionnelle 43
Fouille de données de MoCap: Techniques d’accélération de la recherche
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Avec des techniques d’accélération de la recherche: une fonction de borne (LB) pour filtrer rapidement des candidats négatifs
V
B1 B2Bd
LB(V, B 1) � �?
LB(V, B 2) � �?
LB(V, B d) � �?
Vrai Vrai Vrai
C1CdC2
DTW(V, C1) DTW(V, C1) DTW(V, C1)
O(n)
O(n2)
Apport de la réalité virtuelle pour la rééducation fonctionnelle 44
Fouille de données de MoCap: Techniques d’accélération de la recherche
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Autre technique d’accélération de la recherche ?
Technique de réduction dimensionnelle de la courbe
Algorithme de Lowe
Simple
Efficace
Lowe modifiée pour les bornes
45
U
LL
U
Apport de la réalité virtuelle pour la rééducation fonctionnelle
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Fouille de données de MoCap: Techniques d’accélération de la recherche
46
L
U
V
LB_Keogh > LB_Keogh_Lowe
Apport de la réalité virtuelle pour la rééducation fonctionnelle
Nouvelle fonction de borne: LB_Keogh_Lowe
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Plus stricte
Fouille de données de MoCap: Techniques d’accélération de la recherche
47 Apport de la réalité virtuelle pour la rééducation fonctionnelle
Gain de 68% en efficacité en termes de temps pour retrouver le plus long mouvement
Fouille de données MoCap: expérience & résultat
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Fouille de données de MoCap par la correspondance de courbe
Nouvelle fonction de borne proposée
Expérience pour évaluer l'efficacité et l’efficience de notre
méthode sur des données de MoCap réelles
48 Apport de la réalité virtuelle pour la rééducation fonctionnelle
Conclusion
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
PLAN
Introduction
Outil d’évaluation du geste
Interaction Homme – Avatar Virtuel
Fouille de données temporelles
Conclusion & perspective
49 Apports de la réalité virtuelle pour la rééducation fonctionnelle
1
2
3
4
5
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Conclusion
Apport de méthodes et outils (technologie, scientifique) de
développement d’un environnement virtuel pour la rééducation motrice
Avatar virtuel
Outil d’évaluation du geste
Fouille de données de MoCap pour améliorer l’autonomie de
l’utilisateur
Méthode quantitative pour évaluer l’utilisabilité de l’avatar virtuel
50 Apport de la réalité virtuelle pour la rééducation fonctionnelle
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Appliquer notre approche avec des patients
Elargir ces travaux à un système plus immersif
51 Apport de la réalité virtuelle pour la rééducation fonctionnelle
Perspectives
1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion
Publication
Revues internationales à comité de lecture
Van-Hanh Nguyen, Frédéric Mérienne, Jean-Luc Martinez, (2010). Training-Based on Real-Time MotionEvaluation for Functional Rehabilitation in Virtual Environment. In the special issue “Image and graphicsfor virtual reality in medicine”, International Journal ofImage and Graphics (IJIG), Vol. 10, No. 2, 1-16.
Van-Hanh Nguyen, Frédéric Mérienne, Jean-Luc Martinez, (2009). Effects of Virtual Avatar Characteristicson Performance of Healthy Subjects Training Tasks, Journalof CyberTherapy & Rehabilitation. Fall 2009.Virtual Reality Medical Institute, Rue de la Loi B-1040 Brusseles, Belgium, Vol. 2 (Issue 3), pp. 221-233.
Conférences internationales à comité de lecture
Van-Hanh Nguyen, Frédéric Mérienne, Jean-Luc Martinez, (2010). An Efficient Approach for HumanMotion Data Mining Based on Curves Matching. Lecture Note, Springer, ICCVG2010, Warsaw, Poland.
Van-Hanh Nguyen, Frédéric Mérienne, Jean-Luc Martinez, Thierry Pozzo, (2010). An Approach forMeasuring Human Gesture Learning Ability in Third-Person View Virtual Environment for MotorRehabilitation. WINVR2010, Ames, USA.
Van-Hanh Nguyen, Frédéric Mérienne, Jean-Luc Martinez, (2009). Effects of Virtual Avatar Characteristicson Performance of Healthy Subjects Training Tasks. In Proceeding of “International Symposium onNeurorehabilitation. From basics to future”, Valencia, Spain.
52 Apport de la réalité virtuelle pour la rééducation fonctionnelle
ARTS et METIERS ParisTech \ CNRS \ Le2i \ Institut Image \ 2 rue Thomas Dumorey 71100 Chalon sur Saône FRANCE
MERCI DE VOTRE ATTENTION
Apport de la réalité virtuelle pour la rééducation fonctionnelle