Algorithmes de descente par blocs pour l’apprentissage creux
-
Upload
teegan-tran -
Category
Documents
-
view
21 -
download
2
description
Transcript of Algorithmes de descente par blocs pour l’apprentissage creux
![Page 1: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/1.jpg)
Algorithmes de descente par blocs pour
l’apprentissage creux
Mehdi Meghzifene – IFEnsimag 2A18 mai 2011
![Page 2: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/2.jpg)
ObjectifRéduire le nombre de paramètres décrivant un individu.
k < < m
![Page 3: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/3.jpg)
Comment?
En minimisant l’erreur de reconstruction pour k fixé.
![Page 4: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/4.jpg)
ACPoù
![Page 5: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/5.jpg)
Formulation du Problème
Minimisation de l’erreur parcimonie
Relacher la contrainte d’orthogonalité pour obtenir une compression plus forte.
Problème trop complexe
![Page 6: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/6.jpg)
Norme ||.||1
Pourquoi la norme ||.||1?
![Page 7: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/7.jpg)
Difficultés & Solutions
• h n’est pas convexe. On considère donc les fonctions partielles
• f n’est pas différentiable. On doit avoir recours à des algorithmes
spécifiques pour résoudre
![Page 8: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/8.jpg)
Algorithme de descente par coordonnée
Minimisation à tour de rôle selon chaque coefficient de α.
![Page 9: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/9.jpg)
Convergence
Preuve adaptée de Non Linear Programming, Bertsekas
![Page 10: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/10.jpg)
Expériences
![Page 11: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/11.jpg)
Algorithmes Implémentés
![Page 12: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/12.jpg)
Résultats Descente α
![Page 13: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/13.jpg)
Résultats Descente D
![Page 14: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/14.jpg)
Résultats Parcimonie
![Page 15: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/15.jpg)
Comparaison avec l’ACP
![Page 16: Algorithmes de descente par blocs pour l’apprentissage creux](https://reader030.fdocument.pub/reader030/viewer/2022032607/5681305c550346895d961fd8/html5/thumbnails/16.jpg)
MERCI