Post on 11-May-2015
description
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Ukotvenie významov v senzomotorickej kognícii:konekcionistický prístupobhajoba dizertačnej práce
RNDr. Kristína Rebrováškoliteľ: doc. Ing. Igor Farkaš, PhD.
Katedra aplikovanej informatiky, FMFI UK
27. marec 2014
1 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Prehľad
1 Motivácia a empirické poznatky
2 Robotický model systému zrkadliacich neurónov
3 Algoritmus obojsmerného učenia na báze aktivačných fáz
4 Experimenty a výsledky
5 Zhrnutie a záver
2 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Ukotvená kognícia
kognitivizmus vs. stelesnená kogníciastelesnená a ukotvená kognícia: závisí na tele situovanomv prostredí, s ktorým agent interagujevýznam konceptov musí byť agentovi vlastný, rovnako ako jehokognitívne schopnosti (riadenie, porozumenie, rozhodovanie)rastúca empirická podpora
3 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Senzomotorická kognícia
porozumenie na základe prepojenia akcie a percepcie - párovaniepozorovanej akcie a akcie z vlastného motorického repertoárasystém zrkadliacich neurónov (mirror neuron system,MNS) (Pellegrino a kol., 1992; Rizzolatti a kol. 2001; Rizzolatti aSinigaglia, 2010)
obojsmerný tok informácie medzi vizuálnymia motorickými oblasťami (Tessitore a kol,2010)
variantné a invariantné neuróny v STS (Perret a kol, 1991),ale aj v F5 (Caggiano a kol, 2009)
4 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Systém zrkadliacich neurónov
5 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Výpočtové modely systému zrkadliacich neurónov
klasický prístup: napr.MNS1 (Oztop a Arbib, 2002)
model reflektuje biologickéčasti MNSzákladný predpoklad:vizuálna informácia, ktorávstupuje do MNS je pozičneinvariantnáill-posed problem,zjednodušenie
Farkaš I., Malý M., Rebrová K.: Mirror neurons – theoretical and computational issues.Technical report TR-2011-028. Comenius University in Bratislava. 2011.
6 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Robotický model systému zrkadliacich neurónov
MSOM
motor executivemodule
visual preprocessing
module
F5mirror
neurons(after kWTA)
MSOM
STSpvariant visual
representation(after kWTA)
STSainvariant visual representation
(SOM)
BALbidirectional association
sending weights
sending weights
input sequences input sequences
AIP PATHWAY
PF PATHWAY
interakcia medzi MN a STS(Tessitore a kol., 2012)
modulárna architektúra,na najvyššej úrovni dochádzak rozpoznaniu a porozumeniu akciirobot iCub sa učí uchopovaťpredmety 3 spôsobmipárovanie motorickej reprezentácieakcie s vizuálnymi reprezentáciamizo 4 perspektívRebrová K., Pecháč M., Farkaš I.: Towards arobotic model of the mirror neuron system.Proc. of ICDL Epi-Rob, IEEE. 2013.
7 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Nižšie exekučné a percepčné moduly
Úchop silou
Úchop zboku
Presný úchop
spojité učenie posilňovaním (reinforcement learning),algoritmus CACLA (Continuous Actor Critic Learning Automaton,van Hasselt, 2007)
motorické dáta: hodnoty zo 16 kĺbov pravého ramena robota
"predspracované" vizuálne dáta: 3D súradnice kĺbov robota +prstov zrotované, preškálované a premietnuté do 2D
perspektívy: 0◦ = vlastná, 180◦ = oproti, 90◦ a 270◦ = zboku
Farkaš I., Malík T., Rebrová K.: Grounding the meanings in sensorimotorbehavior using reinforcement learning. Frontiers in Neurorobotics 6(1).2012. doi: 10.3389/fnbot.2012.00001.
8 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Vyššie asociačné oblasti F5 a STSp
rekurentná samoorganizujúca sa zlučovacia mapa MSOM(Merge SOM, Strickert a Hammer, 2005)
topografické mapovanie motorických (F5) a vizuálnych (STSp)sekvenciíbinarizácia: algoritmus k-WTA (k víťazov berie všetko)
winp(t)
xnx1 q1 qnq(t)x(t)
wctx(t)
winp(t-1)
wctx(t-1)
9 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Najvyššie oblasti modelu: PF a AIP dráhy
dráha PF: obojsmerná asociácia medzi F5 a STSpcez oblasť PF (skrytá vrstva)algoritmus BAL odvodený od biologicky plauzibilnéhoalgoritmu GeneRecnajnovšia časť modelu: dráha F5a–AIP–STSa (AIP pathway)
motorická informácia z F5 (typ úchopu) premietnutá do STSa cez AIP -uľahčuje formovanie invariantných reprezentácií v STSa
nový algoritmus: SOM s laterálnou excitáciou
ai = aSOMi +N∑j=0
w latij aj , (1)
aSOMi = exp(−di ). (2)
10 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Algoritmus obojsmerného učenia na báze aktivačných fáz
F F
B B
vrstva x yskrytávrstva
xh hy
váhy hx yhváhy
váhy váhy
vrstva
odvodené od zovšeobecnenej recirkulácie (GeneralizedRecirculation, GeneRec) (O’Reilly, 1996, O’Reilly a Munakata, 1999)
biologicky plauzibilné učenie na báze rozdielu aktivačných fáz2 vstupno–výstupné vrstvy x a y a 2 aktivačné fázy: dopredná(F) a spätná (B)Farkaš I., Rebrová K.: Bidirectional activation-based neural network learningalgorithm. Proc. of ICANN. Springer. 2013.
11 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
BAL: úprava váh
inicializácia: malé náhodné hodnoty s Gaussovskou distribúciouv smere F: ∆wF
ij = λ · aFi (aB
j − aFj )
v smere B: ∆wBij = λ · aB
i (aFj − aB
j )
rýchlosť učenia λTrénovateľné prahy neurónov
Layer Phase Net Input Activationx F - xFih F ηF
j =∑
i wIHij xF
i hFj = σ(ηFj )
y F ηFk =
∑j w
HOjk hF
j yFk = σ(ηF
k )
y B - yBk
h B ηBj =
∑k wOH
kj yBk hBj = σ(ηB
j )
x B ηBi =
∑j w
HIji hBj xBi = σ(ηB
i )
12 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
GeneRec verzus BAL
jednosmerné mapovaniedynamické neurónyčiastočné obojsmerné šírenieaktivácie
obojsmerná asociácia"štandardné" neurónykompletne obojsmernéšírenie aktivácie
13 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
BAL: enkodér 4-2-4
konvergencia:
BAL: 65%GeneRec základný: 90%,Generec symetrický a CHL: 56%
počet epoch: 102 až 103
(GeneRec konverguje rýchlejšie)
0 1 2 3
0
20
40
60
rýchlosť učenia
úspe
šné
siet
e
2 2.1 2.20
20
40
0 1,000 2,000 3,000 4,000 5,000
0
0.5
1
epocha
úspe
šnos
ťsi
ete
vzoryF
vzoryB
bityF
bityB
MSEF
MSEB
0 1 2 3
0
1,000
2,000
3,000
rýchlosť učenia
epoc
hy
2 2.1 2.20
500
1,000
1,500
14 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
BAL: riedke binárne vzory
motivácia pre typ dát: riedke (sparse) reprezentácie v mozgu100 párov náhodných vzorov, 144 bitov, k = 12 aktívnychbitov
0 500 1,000 1,500 2,000 2,500
0
0.5
1
epocha
úspe
šnos
ťsi
ete
vzoryF
vzoryB
bityF
bityB
MSEF
MSEB
15 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
BAL: riedke binárne vzory
optimálne λ = 0.2 a nH = 120 (vplýva hlavne na dĺžku trénovania)
aktivácie na skrytej vrstve: blížia sa k sebe (hodnoty okolo 0.5)
0.1 0.2 0.3 0.4 0.5
0
0.5
1
rýchlosť učenia
úspeš
nosť
siet
e
bityF bityB
vzoryF vzoryB
0.3 0.32 0.34
0
0.5
1
80 100 120 140 160 1800.94
0.96
0.98
1
veľkosť skrytej vrstvy
úspeš
nosť
siet
e
bityF bityB
vzoryF vzoryB
100 150
1,000
2,000
3,000
epochy
16 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
BAL: komplexné asociáciemotivácia pre typ dát: asociácia 4 perspektív na 1 pohyb16 párov vzorov, 16 bitov, k = 3 pozitívnychoptimálna λ = 1.0, optimálna nH = 14
0 0.5 1 1.2
0
0.5
1
rýchlosť učenia
úspeš
nosť
siet
e
bityF bityB
vzoryF vzoryB
10 15 20 25
0
0.5
1
veľkosť skrytej vrstvy
úspeš
nosť
siet
e
vzoryF vzoryB
bityF bityB
17 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
BAL: komplexné asociácie
značne menšia úspešnosť pre nejednoznačný smer B(bity ≈ 86%, vzory len ≈ 4%)splnené očakávanie: sieť nevie určiť, ktorý zo 4 asociovanýchvzorov vybrať
0 200 400 600 800 1,000
0
0.5
1
epocha
úspe
šnos
ťsi
ete
bityF
bityB
vzoryF
vzoryB
MSEF
MSEB
18 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Robotický MNS: asociačné oblasti
víťazné neuróny pri použití optimálnych parametrova rozmerov sietí
F5: víťazi podľa úchopu STSp: víťazi podľa úchopu STSp: víťazi podľa perspektívy
19 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Robotický MNS: optimálne parametre pre BAL
0 0.1 0.2 0.3
0
5 · 10−2
0.1
0.15
learning rate
mea
nsq
uare
der
ror
MSEF
MSEB
0 0.1 0.2 0.3
0
0.2
0.4
0.6
0.8
1
learning rate
úspe
šnos
ťsi
ete
vzoryF
vzoryB
0 0.1 0.2 0.3
0.85
0.9
0.95
1
learning rate
bit
succ
ess
bityF
bityB
0 0.1 0.2 0.3
1,200
1,400
1,600
1,800
2,000
learning rate
epoc
hs
epochs
150 200 250 300
0
1
2
·10−3
veľkosť skrytej vrstvy
mea
nsq
uare
der
ror
MSEF
MSEB
150 200 250 300
900
1,000
1,100
1,200
1,300
veľkosť skrytej vrstvy
epoc
hs
epochs
20 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Robotický MNS:obojsmerná asociácia STSp a PF
učiaci experiment: ako prvá vznikne asociácia medzi prvou(vlastnou) perspektívou a motorickou reprezentáciou, neskôr sapripoja ďalšie perspektívy
0 1,000 2,000 3,000 4,000 5,000
0
0.5
1
epocha
úspe
šnos
ťsi
ete
vzoryF
vzoryB
bityF
bityB
21 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Robotický MNS model: príklad reprodukcie vzorov
Reprodukcia vzorov: prvá perspektíva Reprodukcia vzorov: všetky perspektívy
a) želaná aktivácia; b) výstup siete; c) zhoda medzi a) a b)22 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Robotický MNS modelinvariantné reprezentácie v STSa
SOM s laterálnou excitáciou
predbežný výsledok: invariancia vzniká, no nie kompletná
STSa: víťazi podľa typu úchopu STSa: víťazi podľa perspektívy
23 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Výsledky a závery
očakávaná topografická separácia tried na výsledných mapách, noperpektíva pohľadu je dominantnejšia než typ úchopu
vzory na motorickej mape modelu možno úspešne zreprodukovaťpomocou vizuálnych dát - zrkadliaca aktivita
chyby na robotických dátach sa vyskyujú skôr v rámci kategórie, nežmedzi kategóriami
obojsmerné učenie vplýva na konvergenciu BAL
emergujúce reprezentácie na skrytej vrstve nemajú tendenciubinarizovať sa (nevznikajú interné reprezentácie)
motorická informácia z F5 prispieva k vzniku invariancie v STSa
24 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Ďalší postup pri skúmaní algoritmu BAL a modelovaní MNS
Algoritmus BALskúmať konvergenciu algoritmu, jeho citlivosť na rýchlosťučenia a charakter obojsmerého prepojeniaskúmať reprezentácie na skrytej vrstve a tiež možnosti akoovplyvniť vznik reprezentácií aj na tejto vrstve (v kontextesystému zrkadliacich neurónov)
Robotický model MNSzaviezť do modelu ďalšie perspektívyzískať a použiť "pestrejšie" dáta z exekutívneho CACLAmoduluskúmať a zdokonaliť mechanizmus pre vznik invariantnýchreprezentácií v STSaskúmať možnosť vzniku čiastočne variantných reprezentácií ajv F5
25 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Koniec
Ďakujem za pozornosť
Kristína Rebrovákristina.rebrova@gmail.com
26 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Zoznam relevantných publikácií
K. Rebrová, M. Pecháč a I. Farkaš.Towards a robotic model of the mirror neuron system.V Proceedings of the 3rd joint IEEE International Conference on Development and Learning andon Epigenetic Robotics. Osaka, Japan, 2013. (in press).
I. Farkaš a K. Rebrová.Bidirectional activation-based neural network learning algorithm.V Proceedings of the International Conference on Artificial Neural Networks (ICANN), Sofia,Bulgaria. 2013. (in press).
K. Rebrová a I. Farkaš.Robotický model systému zrkadliacich neurónov: experimentálna analýza.V J. Kelemen, J. Rybár, I. Farkaš a M. Takáč, redaktori, Kognice a umělý život XIII , 223–230.Slezská univerzita, Opava, 2013.
I. Farkaš, T. Malík a K. Rebrová.Grounding the meanings in sensorimotor behavior using reinforcement learning.Frontiers in Neurorobotics, 6(1), 2012.Doi: 103389/fnbot201200001.
K. Rebrová.Stelesnené porozumenie a ideomotorická teória.V J. Rybár, redaktor, Kognitívne paradigmy , 127–150. Vydavateľstvo Európa, 2012.
27 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Zoznam relevantných publikácií
K. Rebrová a I. Farkaš.Robotický model systému zrkadliacich neurónov.V N. P. Kelemen J., redaktor, Kognice a umělý život XII , 231–238. Slezská univerzita, Opava,2012.
I. Farkaš, M. Malý a K. Rebrová.Mirror neurons – theoretical and computational issues.Výskumná správa, (TR-2011-28) Comenius University in Bratislava, 2011.
I. Farkaš, M. Malý a K. Rebrová.Porozumenie motorickým akciám – hypotéza kontinua.61–68. Slezská univerzita v Opavě, Opava, ČR, 2011.
Rebrová K. and Farkaš I.Neurálne modely v kognitívnej robotike: porozumenie a pomenovávanie akcií.V K. V. Kelemen J., redaktor, Kognice a umělý život XI , 231–238. Slezská univerzita, Opava,2011.
J. Šilar, M. Kokoška, K. Rebrová a I. Farkaš.Motor resonance based desynchronization of the EEG mu rhythm.Activitas Nervosa Superior Rediviva, 53, 2011.Abstract.
28 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Vplyv veľkosti skrytej vrstvy na konvergenciu BAL
0 100 200 300
0
1
2
3
4
5
·10−2
veľkosť skrytej vrstvy
stre
dná
kvad
rati
cká
chyb
a
MSEF
MSEB
0 100 200 300
0
0.2
0.4
0.6
0.8
1
veľkosť skrytej vrstvy
úspe
šnos
ťsi
ete
vzoryF
vzoryB
0 100 200 3000.92
0.94
0.96
0.98
1
veľkosť skrytej vrstvy
úspe
šnos
ťsi
ete
bityF
bityB
0 100 200 300
1,000
1,200
1,400
1,600
1,800
2,000
veľkosť skrytej vrstvy
trén
ovac
ieep
ochy
epochy
29 / 30
Motivácia a empirické poznatkyRobotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fázExperimenty a výsledky
Zhrnutie a záver
Invariantné reprezentácie v STSa: predbežné výsledky
STSa: víťazi podľa typu úchopu STSa: víťazi podľa perspektívy
30 / 30