ANN fk AI och hjärnliknande teknologi? - KTH...• Biochip • Molekylära beräkningar • …...
Transcript of ANN fk AI och hjärnliknande teknologi? - KTH...• Biochip • Molekylära beräkningar • …...
1
ANN ANN fkfk
Hjärnliknande beräkningar och ANN
Anders Lansner
April 12, 2007 ANN fk F8 ALa 2
SynopsisSynopsis
• AI och hjärnliknande teknologi?• Hjärnbarken ett attraktornät?• Invariant representation i ANN och
hjärnan• ANS (”Artificial brain”) implementation
• Klusterdator• Digital/Analog VLSI• Biochip• Molekylära beräkningar?
April 12, 2007 ANN fk F8 ALa 3
HjHjäärnliknande teknologi rnliknande teknologi --fföörutsrutsäättningarttningar
• I: att vi i förstår hjärnans funktionsprinciper
• II: att vi kan implementera dessa effektivt• Realtid• Kompakt• Energisnålt• Billigt
• ”Singulariteten” nära?April 12, 2007 ANN fk F8 ALa 4
0,1
1
1010
010
0010
0001E
+051E
+061E
+071E
+081E
+091E
+10
1980 1985 1990 1995 2000 2005 2010 2015 2020 2025
Utveckling av berUtveckling av berääkningskraftkningskraftMooreMoore’’ss lawlaw supersuper--MooreMoore
year
GFL
OP
100 ops/synapse/ms
IBM BlueGene/L 64K nodes
Sony,Toshiba,
IBM”Cell”
250 GFLOP
April 12, 2007 ANN fk F8 ALa 5
Framtidens AIFramtidens AI--system?system?
• hjärnliknande ”artificiella nervsystem”
• ... eller ngn annan typ av lärande system?
April 12, 2007 ANN fk F8 ALa 6
FFöörstrståå hjhjäärnan?rnan?• Framsteg de senaste 30 åren
• ”Pruning” av hypoteser• En handfull kvar …
• ANN Modellering och datorsimulering• Biofysikaliskt detaljerade modeller• Neuroforskning +syntetisk/teoretisk komponent• Verktyg för förståelse, försöksplanering• Abstrakta modeller
• Konnektionistiska == ANN• EU, Japan, USA• KTH/CBN
• Attraktormodeller av hjärnbarken• Abstrakta varianter
• Fullskalemodeller!
2
April 12, 2007 ANN fk F8 ALa 7
AttraktorminnenAttraktorminnen och hjoch hjäärnbarkenrnbarken
• Biologiska attraktorminnen• Luktsystemet, Hippocampus
• Rekurrent konnektivitet• Hela neocortex…?• …
• Synaptisk plasticitet• Allt minne i synapserna!• LTP, STP, STDP …
April 12, 2007 ANN fk F8 ALa 8
HebbskaHebbska synapser och cellgruppersynapser och cellgrupper
”LTP”Bliss and Lömo, 1973Levy and Steward, 1978
Hebb D O, 1949: The Organization of Behavior
• Cellgrupp = mentalt objekt
• Gestalt perception• Figur-bakgrund separation• Perceptuell komplettering• Perceptuell rivalitet
• Efteraktivitet ≈ 500 ms• Associationskedjor
April 12, 2007 ANN fk F8 ALa 9
Vad motsvarar enheterna i ett ANN?Vad motsvarar enheterna i ett ANN?
Kortikalminicolumn
Hypercolumn/Macrocolumn
ANN
April 12, 2007 ANN fk F8 ALa 10
April 12, 2007 ANN fk F8 ALa 11
• • •Cm gL
EL
gNa
ENa
gK
EK
rC
Biofysikaliskt detaljerad cellmodell
Hodgkin-Huxley formalismNa, K, KCa, Ca-channelsCaAP and CaNMDA pools
Fast synaptic transmission:Glutamatergic (50/50 AMPA-NMDA)GABA-ergic
Mostly data from McCormick et al.SPLIT simulator
April 12, 2007 ANN fk F8 ALa 12
SynapsegenskaperSynapsegenskaper
• Realistisk amplitud hos PSP:s i största nätverksmodellen
• Asymmetrisk cell-cell konnektivitet• 2D geometri ⇒ fördröjningar, 1m/s
Tsodyks, Uziel, Markram 2000
Local basket cell
Localpyramidal
LocalRSNP
Distant pyramidal
3
April 12, 2007 ANN fk F8 ALa 13
I
II/III
IV
V/VI
Lager 2/3 modell Lager 2/3 modell –– kolumnkolumnäärr strukturstruktur
• Synaptisk “lager 4” input
April 12, 2007 ANN fk F8 ALa 14
A
B
5 Hz
C
50 mV
1 s
DUPSTATES!
April 12, 2007 ANN fk F8 ALa 15
Network layoutNetwork layout
• 1x1 mm patch• 9 hypercolumns• Each hypercolumn
• 100 minicolumns• 100 basket cells
• 100 patternsstored
• 29700 neurons• 15 million
synapses
April 12, 2007 ANN fk F8 ALa 16
9 hypercolumns9 hypercolumns
• 1x1 mm patch• 9 hypercolumns• Each hypercolumn
• 100 minicolumns• 100 basket cells
• 100 patternsstored
• 29700 neurons• 15 million
synapses
April 12, 2007 ANN fk F8 ALa 17
100 hypercolumns100 hypercolumns
≈ 4x4 mm• 330000
neurons• 161 million
synapses
April 12, 2007 ANN fk F8 ALa 18
8 rack BG/L simulation8 rack BG/L simulation
• 22x22 mm cortical patch• 22 million cells, 11 billion synapses
• 8K nodes, co-processor mode• used 360 MB memory/node
• Setup time = 6927 s• Simulation time = 1 s in 5942 s• >29000 cpu hours• 77 % estimated speedup
• Point-point communication slows (?)• Currently (inofficial) world record!
4
April 12, 2007 ANN fk F8 ALa 19
HjHjäärnbarkens funktionella arkitekturrnbarkens funktionella arkitektur
L2&3-L5
L4
L2&3-L5
L4
Sensor
Thalamus
L2&3-L5
L4
L2&3-L5
L4
L2&3-L5
L4
Sensor
Thalamus
L2&3-L5
L4
L2&3-L5
L4
L2&3-L5
L4
Olf epith
Olf bulb
L2&3
Sensor fusionAssociativt minneHebbsk inlärning
Top-down expektansUppmärksamhetHebbsk inlärning
Feature extraktionKompetitivinlärning
Piriform cortex
LUKT
V1
VISION
April 12, 2007 ANN fk F8 ALa 20
Ytterligare funktionalitet!Ytterligare funktionalitet!
• Långtids- och korttidsminne• Två tävlande hypoteser
• Featureextraction (Lager 4)• Lager 5…• Sekvensiell association, inlärning
• Avancerad motorik, timing• Cerebellum
• Rytmiska rörelser – lägre centra• Beslutsfattande, beteendeval
• Basala ganglierna• Invariant igenkänning
April 12, 2007 ANN fk F8 ALa 21
Invariant Invariant igenkigenkäänningnning
• Transformationer• Bilder
• Translation, storlek, rotation 2D,3D• Belysning t ex ljusets färg
• Ljud• Frekvensinterfall, tempo
• Ej inbyggt i ANN• ”ikonisk” representation saknar
invarians…
April 12, 2007 ANN fk F8 ALa 22
InvariansInvarians??
FANTASTMYTOMAN
April 12, 2007 ANN fk F8 ALa 23
InvariansInvarians??
FANTASTMYTOMAN
April 12, 2007 ANN fk F8 ALa 24
TvTvåå ssäätt att uppntt att uppnååinvariant igenkinvariant igenkäänningnning
• Haykin 29ff• Inbyggd, genom struktur, invarianta särdrag
(”features”)• T ex 30o 60o 90o hörn oberoende av position,
orientering, storlek + Featurehistogram• Spegling i mittlinjen
• Genom träning• Lär karakteristiska ”vyer”• Interpolation mellan dessa• T ex flygplan ur olika vinklar• ”Slow feature analysis”, SFA
• Wiscott L. and Sejnowski, T. 2002• Slow Feature Analysis: Unsupervised Learning of Invariances, Neural
Computation 14, 715 - 770
• Sekvensinlärning (utnyttja korrelationer i tiden) från kontinuerlig observation
5
April 12, 2007 ANN fk F8 ALa 25
Hur bygga ett ANS?Hur bygga ett ANS?
• CCortex, Numenta, IBM, …• Klusterdator
• Miljontals kärnor• –
• ANN hårdvara - dedicerat kisel• Digital/Analog
• Biochip• Molekylära beräkningar• …
April 12, 2007 ANN fk F8 ALa 26
Skalbar Skalbar parallellimplementationparallellimplementation• På klusterdatorer• Krav på
• Minne• Minnesbandbredd• Beräkningar• Kommunikation
• MPI• Address Event Representation (AER)• EJ begränsande
• 1,5 milj enheter, 200 miljarder kopplingar• På 256 noder på PDC/Lenngren• Realtid! Inlärning/recall ca 0.5 sek/mönster• Mkt effektiv kod
April 12, 2007 ANN fk F8 ALa 27
ANN hANN håårdvara rdvara –– utgutgåångspunktngspunkt
• Varför?• Realtidsfunktion, kompakthet,
effektsnålhet• Förutsättningar
• Inneboende massiv parallellism• Lokalitet i beräkningar• Tolerans mot hårdvarufel• Tolerans mot brus i indata och
komponenter• Hur?
April 12, 2007 ANN fk F8 ALa 28
Tidig Tidig ANNANN--hhåårdvarardvara• Då var det 1977...
• 12 neuron, 36 synapser
April 12, 2007 ANN fk F8 ALa 29
VLSI teknologiVLSI teknologi
• Acceleratorkort - signalprocessor• Multiply-add + ickelinjär
överföringsfunktion• Cellprocessorn?
• Kisel• Digital VLSI
• Fixpunktsaritmetik, få bits• FPGA• Analog VLSI
April 12, 2007 ANN fk F8 ALa 30
Analog VLSI?Analog VLSI?• Hög hastighet, kompakt, effektsnål• Kopplas direkt på sensor/aktuator
• Behöver ej A/D och D/A omvandling
• Effektiv implementation av specifika biologiska strukturer• Carver Mead, Caltech• Cochlea• Retina• Synaptics Touchpad• Optisk mus
• För snabb…!
• Brustolerans hos ANN viktig!• krympning av dimensioner
6
April 12, 2007 ANN fk F8 ALa 31
Analog VLSI Analog VLSI -- egenskaperegenskaper
• Olika kategorier• Ingen inlärning (ex Si retina)• Off-chip inlärning, nedladdning av W• On-chip inlärning, snabb, kontinuerlig inlärning
• Standard BP ej lämplig• Stokastisk gradient-decent (pga låg precision),
obeprövad dock
• Problem• Temperaturvariationer inverkar på beräkningen• ”Zero offset”, ej över 10% av signalnivån (kräver
noggrann design och fabrikation)• Hög design- och testkostnad• Minneshieararki, off-chip minne fungerar ej• Långsam off-chip kommunikation (FACETS)
April 12, 2007 ANN fk F8 ALa 32
Alternativ fAlternativ föör r implementationimplementation IIII
Kvantdator...
Cellkultur på chip• Implantat!
Neuron culture on a chip
CMOLHybrid CMOS och molekylära kretsar”nanoprinting”stokastiska beräkningar
April 12, 2007 ANN fk F8 ALa 33
EU/IST/FET/Bioi3/FACETSEU/IST/FET/Bioi3/FACETS
• ”… reverse engineering of the brain …”• Hjärnbarken• (Storskaliga) simuleringar• Digital&Analog (”mixed signal”) VLSI
• Wafer scale integration• 15 forskargrupper• 100 MSEK/4 år
April 12, 2007 ANN fk F8 ALa 34
Simulator Simulator –– VLSI VLSI –– CortexCortex
10-11
10-1
10-5
1010
107
HjärnbarkSimulatorBlue Gene/L
10-1510-1010-12Area/synapse (m2)
10-1610-1510-8Joule/synapse/update
10-1410-910-12Synapse update time (sec)
10141071011|W|
1010104106 (108)|N|
Human cortexFACETS wafer(analog VLSI)
ANN simulatorBlue Gene/L
FACETS Stage I chip
April 12, 2007 ANN fk F8 ALa 35
Att komma ihAtt komma ihååg!g!
• Dagens ANN är användbara• … men ≠ Hjärnan• Fullskaliga hjärnsimuleringar• Datorkapacitet motsvarande
hjärnan ca 2015-2025• Framtidens ANS …Singulariteten?• Dedikerad ANN hårdvara, hur?
April 12, 2007 ANN fk F8 ALa 36
NeocognitronenNeocognitronenK FukushimaK Fukushima
7
April 12, 2007 ANN fk F8 ALa 37
MultipelMultipel--vy baserad inlvy baserad inläärningrning
[Riesenhuber and Poggio, 2000]