Learning AnalyticsVanda Luengo, vanda.luengo@lip6.fr

Actuellement : Université Joseph Fourier, MeTAH, LIG Grenoble

En septembre 2015 : Université Pierre et Marie Curie, MOCAH, LIP6, Paris

1

Une opportunité pour rapprocher les

recherches et les pratiques à l’université ?

(𝑝𝑟𝑜𝑏𝑙è𝑚𝑒𝑠+𝑞𝑢𝑒𝑠𝑡𝑖𝑜𝑛𝑠) ∗(𝑑𝑜𝑛𝑛é𝑒𝑠+𝑎𝑛𝑎𝑙𝑦𝑠𝑒𝑠)

é𝑡ℎ𝑖𝑞𝑢𝑒 ∗𝑖𝑛𝑡𝑒𝑟𝑣𝑒𝑛𝑡𝑖𝑜𝑛

Belinda Tynan, LAK 2015

=> Une vision stakeholders

2

Des exemples,

collaboration avec le CHU de Grenoble

PACES

ECN

L’apprentissage des connaissances perceptivo gestuelles en chirurgie

orthopédique

3

Sur les données PACES, identifier des

Semaine1 Semaine2 Semaine3 Semaine4 Semaine5 Semaine6 Semaine7 …

CoursDVD FLQ SEPI Tutorat

Etude des cours sur DVDFormulation en Ligne des Questions (FLQ)Séances d'Enseignement Présentiel Interactif (SEPI)Séances de Tutorat

CoursDVD FLQ SEPI Tutorat

CoursDVD FLQ SEPI Tutorat

CoursDVD FLQ SEPI Tutorat

CoursDVD FLQ

CoursDVD FLQ SEPI

1 séquence d’apprentissage=

PACES, Grenoble4

Le cas de la chirurgie orthopédique

Action

Perception

action

Perception

Prise

d’information

pour agir

Prise d’information

pour Valider

5

Développement d’une plateforme Modèle d’analyse

Problèmes + Questions

Problème d’enseignement, apprentissage, administration plateforme TICE,

politique universitaire, ….

Question précise dont l’analyse des données peut apporter une partie de

la réponse

Des vraies questions

associés à des vrais

problèmes ?

Taux d’abandon

dans les MOOCS

6

PACES Grenoble

Contexte pédagogique : Pédagogie inversée en première année de

médecine

Contexte d’analyse : situation de concours.

Problème : Nombre d’apprenants trop important.

Question1 : comment rattraper certains étudiants qui risquent de

raccrocher ?

Crédit : PIERRE ANDRIEU / AFP

7

Le cas de la chirurgie orthopédique,

CHU Grenoble

8

Modèle d’analyse

Contexte pédagogique : apprentissage au bloc

opératoire et avec le simulateur

Problème : L’enseignement des gestes a un effet

chapelle

Question : Comment évaluer objectivement les

connaissances perceptivo gestuelles ?

Luengo et al. 2011

Data + Analysis9

Les données, considérations pour une

analyse de qualité

Données

Type

Centralisées : log data des interactions

Comme par exemple les LMS : accès aux ressources d’apprentissage, lecture, écriture,…

Distribuées : multiples logs de sources formelles et informelles

Wiki, google drive, … => Intégration

Extensive : grand nombre de participants, nombre limité de variables

MOOCs : QCM,…

Intensive : nombre relativement petit de participants mais des observations ou traces détaillées

Décider le type de données collectées et l’information à extraire ce sont des étapes clés sur le processus d’analyse.

Le choix des données utilisées comme prédicteurs et indicateurs auront une influence directe sur le type, la qualité et la précision de l’analyse.

(Homer, 2013) (Chatti et al., 2012):

10

Données PACES, distribuées, extensives

2 Semestres – 6 Cycles par semestre– 3 à 4 Disciplines par cycle

Année universitaire

Inscription

en PACES

Concours

Septembre Janvier Mai

Semestre

1

Semestre

2

Résultats de chaque séance de tutorat

Concours

Résultats

finaux

Inscriptions.xl

s

Données QCM par discipline

Concordance.

xls

ResFinaux.xls

Numéro anonymeN lignes par étudiant

Numéro UJF1 ligne par

étudiant

Numéro UJF1 ligne par

étudiantNuméro anonym

e

Numéro UJF

1 ligne par étudiant Travail Laura Dupuis, 2014

11

Données PACES, problèmes

Production :

Données produites pour les enseignants : suivre les étudiants

changement d’utilisateurs

changement de besoins

Données :

Quelques données anonymes

Fragments de données

reconstitution (volume + données incomplètes)

PEU de contrôle au niveau de la production des notes QCM

Aucun impact sur le résultat administratif (ne participent pas à l’admission)

12

Données PACES, garantir la qualité

=> CohérenceOutils : la fusion + indicateurs de qualité

n fichiers issus des séances du tutorat

…

résultats des QCM

pour une discipline,

un cycle et un

semestre donné

1 fichier unique : DonnéesQCM.xls

Variables :

- Semestre

- Cycle

- Discipline

13

Données Chirurgie orthopédique

Intensives, distribuées

Trouver les bonnes transformations

Réutilisables

Efficaces (temps)

Sans perte => backtracking

Trouver les bonnes architectures

Génériques

Algorithmes de clustering classique (K-means, ..)Algorithmes de Discrétisation

Algorithme de clustering oculométrique (I-DT)

Algorithme d’association et discretisationdynamique

Méthode d’annotation sémantique

Algorithme d’association

dynamique

Traces hétérogènes de type perceptivo gestuel

14

Données Chirurgie orthopédique

Processus pour production de séquences

Séquence perceptivo-gestuelle

S = < (Actions; | Gestes); (Perceptions)>

15

Travail de thèse Ben-Mansson Toussaint, AIED 2015, EIAH 2015

Données Chirurgie orthopédique

Une séquence perceptivo gestuelle

16

Travail de thèse Ben-Mansson Toussaint, AIED 2015, EIAH 2015

Analyses

FP7 619762 LEA’s BOX

17

Analyses, la visualisation

Essentielle pour l’intervention Humaine

Différentes usages

Outil réflectifs, Pour la prise de décisions

Travaille pluridisciplinaire

Cartographes

Infographistes

Informaticiens

Statisticiens

Psychologues

Associations de plusieurs visualisations

Dashboard.

18

Duval, E., 2011.

Analyses, PACES, découverte de

structures

Étudier les évolutions des apprenants

Comprendre les résultats concours en fonction des résultats obtenus aux QCM

Outils : Statistiques Descriptives & Visualisations

Création de typologies

Outils :

ACM : Structurer les données en fonction des variables initiales : 3 axes

CAH : Représentation simplifiée des données en formant des classes : 4 classes

1) notes TB/B, très présents, Bac S (Mention TB/B), ADMIS, Nb Insc. : 2-3

2) notes variantes, assez présents, Bac S (Mention AB), EXCLUS, Nb Insc. : 2-3

3) notes mauvaises, peu présents, Bac ≠ S, EXCLUS, Nb Insc. : 4

4) notes mauvaises, assez présents, Bac S (Mention AB), AJOURNÉS, Nb Insc. : 1

19

Visualisations, PACES20

Travail Laura Dupuis, 2014

Visualisations PACES

Année universitaireS1 –C1 S2-C6

21

Visualisation plateforme Undertracks

PACES, une itération

Analyse peu utilisable pour l’intervention

2014-2015 : Analyse qualitative des séances SEPI

Préciser le problèmes et questions vis-à-vis des Utilisateurs finaux

Utiliser les données textuelles (Questions FLQ)

22

Analyses, ChirurgieDécouverte de structures et analyse de relations

Montrer la pertinence de la prise en compte de ce type de séquence

Trouver des séquences significatives pour la rétroaction

23

Un processus d’analyse (PETRA) capitalisable dans la plateforme Un algorithme de création de séquences perceptivo gestuelles Un algorithme pour la recherche de patterns perceptivo gestuels

Thèse Ben-Masson Toussaint,

AIME 2015 Nouveau Algorithme => données intensives

Ethique + Interventions24

L’éthique, le monopole des données ?

Un discours trop centrée sur l’anonymisation des données.

Et les analyses ?

Modèle prédictif pour estimer la probabilité d’échec d’un enfant en

maternelle…

25

Ethique, PACES

Situations de concours

Equité

Transparence

26

Ethique, Chirurgie

Manipulation des données patient

27

Interventions

Interventions Humaines

Proposer des rétroactions adaptés lors des séances de SEPI

Interventions machine

Diagnostiquer les connaissances perceptivo gestuelles

Evaluations formative

28

Peut être commencer par

ces deux points…29

L’analyse des traces d’enseignement et

d’apprentissage

Un équilibre entre application et recherche

30

LA à l’international

Rapport US, défis bien identifiés

Rapport UK, on peut voir une grande diversité

Institutions and drivers

Stage of development

Ethics and legal issues

Data Sorces

Analytic systems

ACCOUNTABILITY

31

Et en France ???

DERNIER appel E-LEARNING Pédagogie universitaire numérique

Augmenter le % du numérique.

On va passer de 20% à 50%...

Mais

Quels sont les vrais problèmes et questions de ce passage au numérique ?

comment mesure-t-on ce passage ?

Quelles indicateur allons nous mettre en place ?

Comment analyser leur pertinence ?

Comment analyser l’impact ?

32

Observatoire de processus d’analyse des traces e-

learning massives

MOOCS

Serious Games

Pédagogies innovantes

Pédagogie inversée (Médecine CHU Grenoble)

Pour la prise de décision des acteurs

Processus utilisables et redéployés dans leurs

environnements

33Prise en

compte de l’utilisateur

Partenaires

• LIP6 (UPMC)

• LIG (UJF)

• IFE (ENS LYON)

• STEF (ENS Cachan)

• LIRIS Lyon 1

• Télécom Bretagne

• Université du Maine

• OpenClassrooms

• LINA 34

Cas d’étude

• Données• Scénarios• Modèles

pédagogiques

Collecte

• Outils • Traces

Analyse

• Processus • Langages• Patterns

Exploitation

• Tableaux de bord pluri-acteurs

Ethique

35

Premier cycle du projet : travail sur des cas pratiques

Cas d’étude

• MOOC• Jeux sérieux• Plateformes

d’exercice

• Formalisation des cas et scénarios

Collecte

• Test d’outils

Analyse

• Qualité QCM• Types

d’apprenants• Évolution

activité• Parcours

d’apprenants

Exploitation

Ethique 36

Références

Chatti, M.A., Dyckhoff, A.L., Schroeder, U., & Thüs, H. “A reference model for learning analytics.” International

Journal of Technology Enhanced Learning, 5, 318-331, 2012

Duval, E., “Attention please! learning analytics for visualization and recommendation”. In Proceedings of the

International Conference on Learning Analytics and Knowledge (9-17). New York: ACM, 2011.

Greller, W. & Drachsler, H., “Translating learning into numbers: A generic framework for learning analytics”.

Educational Technology & Society, 15, 42-57, 2012.

Homer, B.D., “Introductory Talk to the Learning Analytics and Educational Data Mining Workshop”, CREATE Lab,

New York University, April 2013.

D3.1 Review article about LA and EDM. FP7 619762 LEA’s BOX

Niall Sclater, Learning analytics in the UK, JISC, 2014

NMC Horizon repport 2013, US.

Learing Analytics, rapport Unesco 2012

V. Luengo, L. Vadcard, J. Tonetti, and M. Dubois. Diagnostic des connaissances et rétroaction épistémique

adaptative en chirurgie. Revue d'Intelligence Artificielle, 25(4):499-- 524, 2011.

B. Toussaint, V. Luengo., F. Jambon, J ; Tonnetti. From Heterogeneous Multisource Traces to Perceptual-Gestural

Sequences: the PeTra Treatment Approach. 17th International Conference on Artificial Intelligence in Education.

IOS press, Juin 2015.

B. Toussaint, V. Luengo. Mining Surgery Phase-Related Sequential Rules from Vertebroplasty Simulations Traces.

Artificial Intelligence in Medicine. Juillet 2015

Undertracks.imag.fr

37

38