Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.
-
Upload
guarin-beaumont -
Category
Documents
-
view
109 -
download
4
Transcript of Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.
![Page 1: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/1.jpg)
Un neurone élémentaire
Fauconnier Cécile
Informatique de Gestion
Université de Liège
![Page 2: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/2.jpg)
Introduction
• Un réseau de neurones est un outil d'analyse statistique
• Définitions: - Un neurone est une fonction algébrique non
linéaire, paramétrée, à valeurs bornées- Un réseau de neurones est un ensemble fini de
neurones, c’est-à-dire un ensemble fini de fonctions algébriques non linéaires, paramétrées, à valeurs bornées.
![Page 3: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/3.jpg)
Un neurone
fsortie
entrées
poids
![Page 4: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/4.jpg)
Mise en oeuvre
• Mise en œuvre d'un réseau de neurones: – Définition de la structure du réseau– Détermination des paramètres qui définissent le
réseau– Phase de validation
![Page 5: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/5.jpg)
Plan de l'exposé
• Problème posé et définitions conceptuelles
• Résolution pratique du problème et résultats
![Page 6: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/6.jpg)
Le problème
• Données: Questionnaires éventuellement mal remplis et décisions pour chaque questionnaire
• Problème: extraire la prise de décision à l’aide de ces questionnaires pour pouvoir traiter tous les questionnaires de même type qui pourraient être remplis
![Page 7: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/7.jpg)
Représentation
Abstraction du problème
A X
D
g'
g
![Page 8: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/8.jpg)
Les données
• D: matrice de bits n X c
nb de questionnaires X nb de bits par questionnaire
• A chaque ligne de D correspond le bit donné par la valeur de g. Ces bits forment un vecteur colonne de bits, à n lignes: le vecteur R
![Page 9: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/9.jpg)
Un neurone
• Un neurone réalise une fonction non linéaire bornée appelée fonction d’activation
y=f(e1,…eJ,w1,…,wJ) où les ej sont les variables et les wj les paramètres• Sortie du neurone:
• Les poids wj renforcent les liaisons, les annulent ou les diminuent.
)(),...,(1
1
c
iiic ewfeesortie )(),...,(
11
c
iiic ewfeesortie )(),...,(
11
c
iiic ewfeesortie
![Page 10: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/10.jpg)
Fonction d’activation
• Choix: la fonction signe
1)sgn( x
![Page 11: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/11.jpg)
Résolution du problème
• Résoudre le problème posé à l’aide d’un neurone dont la structure est définie, c’est déterminer les paramètres wj qui définissent ce neurone de telle manière que les valeurs de ce neurone approchent au mieux les valeurs de la fonction g de départ pour les différents questionnaires donnés.
Phase d’apprentissage
![Page 12: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/12.jpg)
Résolution du problème
• Lorsque les paramètres wj seront déterminés, la fonction g’ cherchée sera définie par
![Page 13: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/13.jpg)
Défaut du neurone
• Soit di un questionnaire caractérisé par les bits e1,…,ec. Le défaut pour ce questionnaire est donné par
![Page 14: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/14.jpg)
Défaut d’un neurone
• Défaut du neurone
![Page 15: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/15.jpg)
Apprentissage
• Définition:
Procédure qui consiste à estimer les paramètres des neurones du réseau, afin que celui-ci remplisse au mieux la tâche qui lui est affectée.
![Page 16: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/16.jpg)
Méthode d’ajustement
• Choix de la méthode :
Poids aléatoiresw1,…,wc
Calcul du défaut
Changement de poids
On garde les poidsSi le défaut a diminué
![Page 17: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/17.jpg)
Valeur de la méthode d’ajustement
• Le concept d’apprentissage n’est intéressant que si le réseau possède la capacité de généralisation.
• Deux méthodes:
- Ensemble d’apprentissage restreint afin d’avoir des exemples de vérification
- Comparaison au modèle aléatoire théorique
![Page 18: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/18.jpg)
Elaboration pratique
• Problème concret:
- 11 notes sur 20 pour 99 étudiants
- Grade obtenu pour chaque étudiant
Question: un étudiant donné a-t-il une distinction ou non?
![Page 19: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/19.jpg)
Transformation des données
• Notes ramenées sur 15
• Notes codées sur 4 bits• Grade1 bit : présence d’une distinction 1 absence d’une distinction -1 pas de décision 0 Au total, 45 bits par étudiant
![Page 20: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/20.jpg)
Phase d’ajustement
• Procédé :
D, R,Poids aléatoires
w1,…,wc
Modification d’un poids à la fois
tant que le défaut diminue
Modification de 2 poids à la fois
tant que le défaut diminue
Modification de 3poids à la fois
tant que le défaut diminue
w1,…wc modifiés
![Page 21: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/21.jpg)
Résultats
• Valeur du neurone pour un étudiant i donné
• Erreur initiale: 226• Erreur après modification de 1 poids à la fois : 56• Erreur après modification de 2 poids à la fois : 44• Erreur après modification de 3 poids à la fois : 36
![Page 22: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/22.jpg)
Influence des poids initiaux aléatoires
• Grande influence des poids initiaux.• Défaut compris entre 20 et 56• Moyenne: 33.5 Ecart-type : 8.1
![Page 23: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/23.jpg)
Validité de la méthode
• Deux méthodes:
- Ensemble d’apprentissage restreint afin d’avoir des exemples de vérification
- Comparaison au modèle aléatoire théorique
![Page 24: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/24.jpg)
Méthode 1
• On enlève un étudiant de l’ensemble d’apprentissage.
• On effectue l’ajustement• On compare la valeur du neurone pour l’étudiant
retiré et la valeur réel
On réalise ces différentes étapes pour chaque étudiant de l’ensemble de départ et on peut constater le pourcentage d’erreur obtenu …34%
![Page 25: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/25.jpg)
Déduction
• La méthode n’est pas sans faille
• Hypothèse:
- Influence des poids initiaux aléatoires
Résolution : Effectuer différents apprentissages pour ne pas être soumis aux choix initiaux …28% (5 ajustements)
![Page 26: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/26.jpg)
Méthode 2
• Comparaison au cas théorique aléatoire
• Cas aléatoire
- Matrice aléatoire D de bits (-1,0,1)
(dim 99 x 45)
- Apprentissage
![Page 27: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/27.jpg)
Résultats
• Erreur initiale: 184
• Erreur après modification de 1 poids à la fois: 106
• Erreur après modification de 2 poids à la fois: 80
• Erreur après modification de 3 poids à la fois: 60
![Page 28: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/28.jpg)
Résultats (suite)
• Erreur jamais inférieur à 50• Moyenne:65.5 Ecart-type: 8.3
![Page 29: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/29.jpg)
Construction d’un intervalle de confiance
• Test d’hypothèse: l’erreur obtenue reflète-t-elle le cas aléatoire?
• n : nombre de questionnaires
• c : nombre de questions par questionnaire
• D: matrice aléatoire de bits (dim. n x (c+1))
apprentissage, erreur finale
![Page 30: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/30.jpg)
Test (suite)
• X: v.a. définie par le défaut obtenu à partir d’une matrice donnée
• Moyenne : m• Ecart-type: σ
Grand nombre de réalisations
![Page 31: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/31.jpg)
Test (suite)
• Thm central-limite
• Intervalle de confiance unilatéral de la moyenne de la variable X, au niveau de confiance 1-α:
![Page 32: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/32.jpg)
Neurones concurrents
• Solution apportée à l’influence des valeurs initiales des poids : mettre des neurones en concurrence
• 40 ajustements + vote majoritaire
Taux d’erreur: 23.23%
![Page 33: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/33.jpg)
Autres tests sur les données
Variance des tests:
- Un étudiant est ajourné ou non
- Un étudiant obtient une satisfaction ou non
- Un étudiant obtient une grande distinction ou non
- Un étudiant obtient une plus grande distinction ou non
![Page 34: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/34.jpg)
Résultats finaux
• Les pourcentages d’erreur sont équivalents peut importe le test considéré.
• Les grades de différents étudiants sont mal prédits.
• Certains sont difficiles à placer dans une classe ou l’autre
![Page 35: Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège.](https://reader036.fdocument.pub/reader036/viewer/2022062417/551d9d9f497959293b8ccd12/html5/thumbnails/35.jpg)
Conclusion
• Citons notamment que l'absence de justification pour le choix des paramètres et de la structure du réseau nous a conduit à travailler par essais et erreurs. Ceci ne remet pas en cause la validité de nos résultats mais nous ne pouvons affirmer avoir obtenu le plus haut degré de précision.
• Nous avons, dans cette étude empirique, mis en œuvre une technique relative aux réseaux de neurones. Seules quelques pistes ont été exploitées et nous n'excluons pas qu'il soit possible d'obtenir de meilleurs résultats. De plus, le caractère singulier et ponctuel de l'étude empirique ne nous autorise pas à tirer des conclusions générales.