Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal...
-
Upload
andre-bidault -
Category
Documents
-
view
106 -
download
0
Transcript of Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal...
![Page 1: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/1.jpg)
Une théorie générale des réseaux connexionnistes
Denis CousineauUniversité de Montré[email protected]
![Page 2: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/2.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
92
Sommaire
Survol des produits matriciels Inner vs. Outer Lien avec les réseaux connexionnistes? Conjecture Vecteurs d’entrées N. B.
![Page 3: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/3.jpg)
Survol des produits matriciels
![Page 4: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/4.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
94
Survol des produits matriciels
Il y a deux produits impliquant les vecteurs
Le produit matriciel
Le produit scalaire
![Page 5: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/5.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
95
Survol des produits matriciels
Il y a deux produits impliquant les vecteurs
Le produit matriciel
Le produit scalaire
Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product):
![Page 6: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/6.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
96
Survol des produits matriciels
Le produit de matrice est possible si et seulement si: Les deux termes sont des
matrices (ayant deux dimensions) ou des tenseurs (ayant deux dimensions ou plus)
La taille de la dernière dimension du premier terme est identique à la taille de la première dimensions du second terme, i.e.
Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product):
![Page 7: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/7.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
97
Survol des produits matriciels
... mais se comprennent aussi en terme de leur impact sur la dimensionnalité:
Le premier augmente la dimensionnalité outer product
Le second réduit la dimensionnalité inner product .
Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product):
![Page 8: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/8.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
98
Survol des produits matriciels
... mais se comprennent aussi en terme de leur impact sur la dimensionnalité:
Le premier augmente la dimensionnalité outer product
Le second réduit de un la dimensionnalité inner product .
par exemple
![Page 9: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/9.jpg)
Inner vs. Outer
![Page 10: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/10.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
0
Que fait un inner?
Calcule la somme pondérée:
La dimension j est «collapsée», est «aggregated»; les entrées sont superposées.
![Page 11: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/11.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
1
Que fait un inner?
Calcule la somme pondérée:
La dimension j est «collapsée», est «aggregated»; les entrées sont superposées.
Dans ce inner, l’opérateur de sommation
permet de superposer les entrées
l’opérateur de multiplication permet de joindre les pairs d’entrées.
De façon explicite:
![Page 12: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/12.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
2
Que fait un inner?
Dans Mathematica: Dans ce inner, l’opérateur de sommation
permet de superposer les entrées
l’opérateur de multiplication permet de joindre les pairs d’entrées.
De façon explicite:
In[15]:= X 1, 6, 0, 3;Y 8, 2, 9, 1;InnerTimes, X, Y, Plus
Out[17]= 23
![Page 13: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/13.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
3
Que fait un outer?
Calcule toutes les combinaisons possibles des paires d’entrées:
???
![Page 14: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/14.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
4
Que fait un outer?
Calcule toutes les combinaisons possibles des paires d’entrées:
???
Dans ce outer, l’opérateur de
multiplication permet de joindre les pairs d’entrées.
De façon explicite:
![Page 15: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/15.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
5
Que fait un outer?
Dans Mathematica: Dans ce outer, l’opérateur de
multiplication permet de joindre les pairs d’entrées.
De façon explicite:
![Page 16: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/16.jpg)
Lien avec les réseaux connexionnistes?
![Page 17: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/17.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
7
Imaginons un perceptron...
Ce perceptron a comme architecture: taille des inputs p taille des outputs q
![Page 18: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/18.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
8
Imaginons un perceptron...
Ce perceptron a comme architecture: taille des inputs p taille des outputs q
La règle de transmission: La réponse d’une unité d’output j est proportionnelle à
la force des inputs pondérée par les poids de connections
Avec un autre formalisme:
ou encore dans Mathematica:
![Page 19: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/19.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
9
Imaginons un perceptron...
La règle d’apprentissage: Le changement de poids de la connexion i, j est
proportionnel à la force de l’input et à la force de l’erreur Avec un autre formalisme:
ou encore dans Mathematica:
La règle de transmission: La réponse d’une unité d’output j est proportionnelle à la
force des inputs pondérée par les poids de connections Avec un autre formalisme:
ou encore dans Mathematica:
![Page 20: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/20.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
92
0
Imaginons un perceptron...
Pris ensemble: La règle de transmission:
La règle d’apprentissage:
définissent un réseau appelé dans le jargon un réseau Sigma-pi
![Page 21: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/21.jpg)
Conjecture
![Page 22: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/22.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
92
2
Toute règle de transmission est réalisée par un Inner
Toute règle d’apprentissage est réalisée par un Outer
![Page 23: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/23.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
92
3
Des exemples?
Un perceptron (McClelland et al., 1986)
Un réseau de course (Cousineau, 2004a et b, 2005)
Un réseau FEBAM-SOM (Chartier et Giguère, 2009)
Un réseau de Kohonen (SOM; 1982)
![Page 24: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/24.jpg)
Vecteurs d’entrées
![Page 25: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/25.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
92
5
Pourquoi s’en tenir à un vecteur d’entrée et à un vecteur de sortie? La sortie peut être une
surface (i.e. une matrice)
L’entrée peut aussi être une matrice (e.g. une image rétinienne)
L’entrée peut être – pourquoi pas – un cube (i.e. un tenseur)
![Page 26: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/26.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
92
6
Supposant un input I de dimensions p q
r un output O de dimensions s
t On utilise
ou dans Mathematica:
Pour y arriver, supposant un input I de dimensions p
q un output O de dimensions s
t On utilise
ou dans Mathematica:
![Page 27: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/27.jpg)
N. B.
![Page 28: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/28.jpg)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
92
8
Pour la règle de transmission:
← signifie aussi selon le cas appliquer une fonction de
seuil effectuer un élagage
(kWTA) effectuer un lissage
(chapeau allemand ou chapeau mexicain)
Pour la règle d’apprentissage:
← signifie aussi introduire une constante
d’apprentissage
Tout au long, j’ai utilisé un raccourci, le signe ← Ce signe a plusieurs significations
![Page 29: Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA.](https://reader037.fdocument.pub/reader037/viewer/2022110117/551d9da0497959293b8ce8dd/html5/thumbnails/29.jpg)
Merci
Cette présentation sera disponible un jour àmapageweb.umontreal.ca/cousined