ModelleModellezézésisi technikák a technikák a statisztikai alakfelismerésbenstatisztikai alakfelismerésben

Tóth LászlóTóth László

Mesterséges Intelligencia Tanszéki KutatócsoportMesterséges Intelligencia Tanszéki Kutatócsoport,, Magyar Tudományos AkadémiaMagyar Tudományos Akadémia & Szeged& Szegedi Tudományegyetemi Tudományegyetem

Az osztályozási feladatAz osztályozási feladat Feladat: objektumok osztályba sorolásaFeladat: objektumok osztályba sorolása

– Adott: Adott: ososztályok ztályok {c{c11,…,c,…,cKK}} halmaza és halmaza és mmérési adatok érési adatok

(„jellemzők”) („jellemzők”) (x(x11,…,x,…,xmm)) vektorterevektortere

– Felhasználási fázis:Felhasználási fázis:» Input: egy Input: egy xx jellemzővektor jellemzővektor

» Output: egy Output: egy ccii osztálycímke osztálycímke

– Tanulási fázis: Tanulási fázis: » Input: felcímkézett Input: felcímkézett <<xx(n)(n), c, c(n)(n)>> tanítópéldák tanítópéldák nn=1,…,N=1,…,N

» Output: valamilyen modell az XOutput: valamilyen modell az XC lekC leképezéshezépezéshez

– Egy egyszerű példa: karakterfelismerésEgy egyszerű példa: karakterfelismerés– A gépi tanulás legfontosabb feladattípusaA gépi tanulás legfontosabb feladattípusa

– Sokféle, egészen eltérő megközelítése, formalizálása létezikSokféle, egészen eltérő megközelítése, formalizálása létezik

2 jellemzővel, 2 osztállyal:2 jellemzővel, 2 osztállyal:

Tkp. ami kellene: minden osztályhoz egy Tkp. ami kellene: minden osztályhoz egy XX{0,1}{0,1} karakteriskarakteriszztikus ftikus függvényüggvény– Ez viszont (folytonos változók esetén) körülményesen reprezentálható Ez viszont (folytonos változók esetén) körülményesen reprezentálható

közvetlenülközvetlenül

SzemléltetésSzemléltetés

Geometriai szemlélet:Geometriai szemlélet: az osztályok közötti határt (döntési az osztályok közötti határt (döntési felületet) reprezentáljafelületet) reprezentálja;; döntés: a pont melyik oldalra esik döntés: a pont melyik oldalra esik

Döntéselméleti szemlélet:Döntéselméleti szemlélet: minden osztályhoz egy disz- minden osztályhoz egy disz-kriminánsfüggvény (kriminánsfüggvény (xx pont mennyire eleme az osztálynak) pont mennyire eleme az osztálynak)– Döntés: melyik diszkriminánsfüggvény adja a legnagyobb értéketDöntés: melyik diszkriminánsfüggvény adja a legnagyobb értéket

MindkMindkéét esetben egt esetben egyszerű, folytonos függvényekkel dolgozhatunkyszerű, folytonos függvényekkel dolgozhatunk

Reprezentációs módszerekReprezentációs módszerek

A döntéselméleti szemlélet speciális esete:A döntéselméleti szemlélet speciális esete: az egyes az egyes osztályokhoz tartozó diszkriminánsfüggvény legyen osztályokhoz tartozó diszkriminánsfüggvény legyen P(cP(cii||xx)) – TTétel: minimalizálja a téves besorolások számának várható értékététel: minimalizálja a téves besorolások számának várható értékét– A Bayes-szabály szerint A Bayes-szabály szerint

– P(P(xx)-)-nek nincs szerepe, (nek nincs szerepe, (ii-re maximali-re maximalizázálunklunk))– P(cP(cii) ) könnyen modellezhető (pl. leszámlálással)könnyen modellezhető (pl. leszámlálással)

Diszkriminatív modellek: a Diszkriminatív modellek: a P(cP(cii||xx)) posterior valószínűséget posterior valószínűséget modellezikmodellezik– Közvetlenül a döntési függvények pontos leírására törekednekKözvetlenül a döntési függvények pontos leírására törekednek

Generatív modellek: a Generatív modellek: a p(p(xx||ccii)) osztályonkénti eloszlást modellezik osztályonkénti eloszlást modellezik– az osztályok pontos leírására törekednek (akár példák generálására is az osztályok pontos leírására törekednek (akár példák generálására is

képesek az adott osztályból)képesek az adott osztályból)

A Bayes döntési szabályA Bayes döntési szabály

x

xx

p

cPcpcP ii

i

Egyszerű, pár paraméterrel szabályozható görbékEgyszerű, pár paraméterrel szabályozható görbék HipersíkHipersík

– Két részre vágja a teretKét részre vágja a teret– Nem lokalizált (végtelen nagy térrészt sorol az adott osztályhoz)Nem lokalizált (végtelen nagy térrészt sorol az adott osztályhoz)

Kvadratikus alakKvadratikus alak– 2D-ben kör v. ellipszis alakú térrészt kanyaríthatunk körül vele2D-ben kör v. ellipszis alakú térrészt kanyaríthatunk körül vele

Normális eloszlásNormális eloszlás– Alapvetően a generatív modellezésben használatosAlapvetően a generatív modellezésben használatos– De küszöböléssel térrészek körülhatárolására is jó lehetDe küszöböléssel térrészek körülhatárolására is jó lehet

PolinomPolinom

Szokásos alapfüggvényekSzokásos alapfüggvények

Ha bonyolultabb döntési felületet v. eloszlásfüggvényt Ha bonyolultabb döntési felületet v. eloszlásfüggvényt akarunk leírniakarunk leírni

Geometriai szemléletGeometriai szemlélet– Területek összekapcsolása ÉS-sel, VAGY-gyalTerületek összekapcsolása ÉS-sel, VAGY-gyal

» Pl: hipersíkokat használva így tetszőleges térrész körülkeríthetőPl: hipersíkokat használva így tetszőleges térrész körülkeríthető

– Többszintű modell (az egyik szint outputja a másik inputja)Többszintű modell (az egyik szint outputja a másik inputja)» Pl: neuronhálóPl: neuronháló

– Súlyozott összegzésSúlyozott összegzés Döntéselméleti (generatív) szemléletDöntéselméleti (generatív) szemlélet

– Súlyozott összegzésSúlyozott összegzés» Ha Ha ffjj((xx)) szabályos sűrűségfüggvény minden szabályos sűrűségfüggvény minden jj-re, akkor -re, akkor

is az, ha is az, ha wwjj>0>0 és és

Alapfüggvények kombinálásaAlapfüggvények kombinálása

j

jw 1

j

jj fw x

Diszkriminatív modellekDiszkriminatív modellek– Könnyű: Könnyű: P(cP(cii||xx)) diszkrét eloszlás diszkrét eloszlás– 0 és 1 közé szorítás:0 és 1 közé szorítás:

» a, küszöböléssela, küszöböléssel» b,sigmoid-függvénnyelb,sigmoid-függvénnyel

– garantálása: normalizálással (osztás -vel)garantálása: normalizálással (osztás -vel)

– A két problémát egy lépésben megoldja a „softmax” kombinálás:A két problémát egy lépésben megoldja a „softmax” kombinálás:

Generatív modellekGeneratív modellek– Nehezebb garantálni, hogy a kimenet szabályos sűrűségfüggvény legyen, Nehezebb garantálni, hogy a kimenet szabályos sűrűségfüggvény legyen,

így a legjobb eleve sűrűségfüggvényekből építkezni (pl. normális eloszlás) így a legjobb eleve sűrűségfüggvényekből építkezni (pl. normális eloszlás) pl. súlyozott összegzéssel (ld. korábban)pl. súlyozott összegzéssel (ld. korábban)

„„Valószínűségi kimenet” garantálásaValószínűségi kimenet” garantálása

i

icP x i

icP 1x

j

o

o

i j

i

e

eo

Gaussian Mixture Modell (GMM)Gaussian Mixture Modell (GMM)– Minden osztályra Gauss-görbék súlyozott összegét illesztiMinden osztályra Gauss-görbék súlyozott összegét illeszti

– A paraméterszám csökkentése érdekében a kovarianciamátrixot gyakran A paraméterszám csökkentése érdekében a kovarianciamátrixot gyakran diagonálisra korlátozzukdiagonálisra korlátozzuk

Radial Basis Function Network (RBFN)Radial Basis Function Network (RBFN)– Nagyon hasonlít a GMM-hezNagyon hasonlít a GMM-hez– Az osztályokhoz hasonló diszkriminánsfügvényeket rendel:Az osztályokhoz hasonló diszkriminánsfügvényeket rendel:

– De: a Gauss-bázisfügvények nem osztályspecifikusak! (mindegyik szerepel De: a Gauss-bázisfügvények nem osztályspecifikusak! (mindegyik szerepel mindegyik mindegyik ggii-ben)-ben)

– Az oszályokat együtt tanítja, nem külön-külön, mint a GMMAz oszályokat együtt tanítja, nem külön-külön, mint a GMM– A kimenet nem „valószínűségi” (pl. negatív értékek is lehetnek)A kimenet nem „valószínűségi” (pl. negatív értékek is lehetnek)

Néhány konkrét modellNéhány konkrét modell

j

jjji wcP Σμxx ,,

j

jjji wg Σμxx ,,

Mesterséges Neuronháló (ANN)Mesterséges Neuronháló (ANN)– Egyetlen neuron („Perceptron”):Egyetlen neuron („Perceptron”):

» Aktiváció: Aktiváció:

» Kimenet: Kimenet: oo=Sigmoid(=Sigmoid(aa))

» Tkp: egy hipersíkkal két részre osztja a teret, majd 0-1-re küszöbölTkp: egy hipersíkkal két részre osztja a teret, majd 0-1-re küszöböl

» Logikailag: ÉS, VAGY műveleteket tudja reprezentálni, XOR-t nemLogikailag: ÉS, VAGY műveleteket tudja reprezentálni, XOR-t nem

– Többrétegű előrecsatolt neuronháló:Többrétegű előrecsatolt neuronháló:» Az alacsonyabb szintek outputjai a magasabb szintek inputjaiAz alacsonyabb szintek outputjai a magasabb szintek inputjai

» Két réteg: tetsz. logikai függvényt meg tud tanulni (ld. konjunktív Két réteg: tetsz. logikai függvényt meg tud tanulni (ld. konjunktív normálforma), vagy konvex összefüggő térrészt körül tud zárninormálforma), vagy konvex összefüggő térrészt körül tud zárni

» Három réteg: bármilyen gyakorlati szempontból lényeges függvényt Három réteg: bármilyen gyakorlati szempontból lényeges függvényt tetszőleges pontossággal tud közelítenitetszőleges pontossággal tud közelíteni

Néhány konkrét modell (2)Néhány konkrét modell (2)

j

jj xwa

Kvadratikus Neuronháló (QNN)Kvadratikus Neuronháló (QNN)– Az alsó réteg neuronjaiban lineáris helyett kvadratikus kombinációAz alsó réteg neuronjaiban lineáris helyett kvadratikus kombináció– Nagyobb reprezentációs képességNagyobb reprezentációs képesség– 3 helyett 2 réteg is elég3 helyett 2 réteg is elég– A tanítás jóval bonyolultabbA tanítás jóval bonyolultabb

Projection Pursuit Learning (PPL)Projection Pursuit Learning (PPL)– Alapvetően az osztályok eloszlását modelleziAlapvetően az osztályok eloszlását modellezi– Kiválaszt Kiválaszt pp darab darab ααjj irányt és veszi a pontok erre eső 1D vetületét irányt és veszi a pontok erre eső 1D vetületét– Ezekre Ezekre ff interpolációs polinomot illeszt (egyszerű, mert 1D-ben interpolációs polinomot illeszt (egyszerű, mert 1D-ben

kell)kell)– Majd ezeket súlyozott összegzéssel kombináljaMajd ezeket súlyozott összegzéssel kombinálja

Néhány konkrét modell (3)Néhány konkrét modell (3)

p

j

Tjjji fwcP

10 xαx

Support Vector Machine (SVM)Support Vector Machine (SVM)– Alapvetően nem valószínűségi modellAlapvetően nem valószínűségi modell– De azzá tehető a kimenete (ld. pl. szigmoidos trükk)De azzá tehető a kimenete (ld. pl. szigmoidos trükk)– Hipersíkkal szeparálHipersíkkal szeparál– Nem kell neki bonyolultabb döntési felület, mert nem a felületet Nem kell neki bonyolultabb döntési felület, mert nem a felületet

„görbíti” a pontokhoz, hanem a pontokat (teret) a felülethez„görbíti” a pontokhoz, hanem a pontokat (teret) a felülethez Fontos megjegyzésFontos megjegyzés

– Az, hogy a modell generatív vagy diszkriminatív, az sokkal inkább Az, hogy a modell generatív vagy diszkriminatív, az sokkal inkább a tanítási módszeren múlik, semmint a modell struktúráján!a tanítási módszeren múlik, semmint a modell struktúráján!

» Azaz a tanítás során az osztályok leírására vagy a minél pontosabb Azaz a tanítás során az osztályok leírására vagy a minél pontosabb osztályozására optimalizáljuk a modelltosztályozására optimalizáljuk a modellt

Néhány konkrét modell (4)Néhány konkrét modell (4)

Tanítás: a modell paramétereinek beállításaTanítás: a modell paramétereinek beállítása– Input: felcímkézett példák: Input: felcímkézett példák: <<xx(n)(n), c, c(n)(n) > p > párok, árok, nn==1,…,1,…,NN– A tanításhoz kell: egy optimalizálandó célfüggvény A tanításhoz kell: egy optimalizálandó célfüggvény („mit”(„mit”))– Meg egy optimalizáló algoritmus (Meg egy optimalizáló algoritmus („hogyan”„hogyan”))– A tanítóhalmazon optimalizáljuk a modell működésétA tanítóhalmazon optimalizáljuk a modell működését– Remélve, hogy más, ismeretlen pontokra is jól fog általánosítaniRemélve, hogy más, ismeretlen pontokra is jól fog általánosítani

Generatív modellek tanításaGeneratív modellek tanítása– A Maximum Likelihood (ML) kritériumA Maximum Likelihood (ML) kritérium

» Külön-külön modellezi az osztályok eloszlását, azaz Külön-külön modellezi az osztályok eloszlását, azaz p(p(xx||ccii))-t-t» Olyan Olyan λλ modellt keres, amelyre modellt keres, amelyre

– Az Expectation Maximization algoritmusAz Expectation Maximization algoritmus» Egy hatékony megoldás az ML-tanításraEgy hatékony megoldás az ML-tanításra» Iteratív, lokális optimum megtalálását garantáljaIteratív, lokális optimum megtalálását garantálja

Tanítási módszerekTanítási módszerek

N

n

np1

maxarg

x

Diszkriminatív tanítási kritériumokDiszkriminatív tanítási kritériumok– Mean Squared Error (MSE): Mean Squared Error (MSE):

– Tétel: megfelelő beállítások mellett Tétel: megfelelő beállítások mellett P(cP(cii||xx)) közelítéséhez vezet!! közelítéséhez vezet!!– Minimalizálás: tkp. globális optimalizálási problémaMinimalizálás: tkp. globális optimalizálási probléma– Lineáris súlyozás esetén: pszeudo-inverz számítással megoldhatóLineáris súlyozás esetén: pszeudo-inverz számítással megoldható

» zárt képlet, de viszonylag lassúzárt képlet, de viszonylag lassú

– Ha a modellben minden komponens deriválható: gradient descent Ha a modellben minden komponens deriválható: gradient descent algoritmus (legmeredekebb csökkentés elve)algoritmus (legmeredekebb csökkentés elve)

» Iteratív, lokális optimumot találIteratív, lokális optimumot talál» Speciális eset: a neuronhálók „backpropagation” tanítóalgoritmusaSpeciális eset: a neuronhálók „backpropagation” tanítóalgoritmusa

– Egyéb otpimalizálási módszerek: konjugált gradiens, Newton, BFGS, Egyéb otpimalizálási módszerek: konjugált gradiens, Newton, BFGS, ……

Tanítási módszerek (2)Tanítási módszerek (2)

2

1

1

N

n

nn ocN

E (o a modell kimenete)

Maximum Mutual Information (MMI)Maximum Mutual Information (MMI)– Az Az XX jellemzővektor és a jellemzővektor és a CC osztálycímkék kölcsönös információját osztálycímkék kölcsönös információját

maximalizálja (ez lényegében a címkék entrópiájának csökkenése maximalizálja (ez lényegében a címkék entrópiájának csökkenése xx megismerése után)megismerése után)

– A tanulópéldákon a célfüggvényA tanulópéldákon a célfüggvény

– Optimalizálás pl. a gradient descent módszerrel (pl. neuronhálók)Optimalizálás pl. a gradient descent módszerrel (pl. neuronhálók)– Belátható, hogy megfelelő beállításokkal Belátható, hogy megfelelő beállításokkal P(cP(cii||xx)) közelítéséhez vezet közelítéséhez vezet– Megegyezik az ún. Minimum Cross Entropy kritériummalMegegyezik az ún. Minimum Cross Entropy kritériummal

Tanítási módszerek (3)Tanítási módszerek (3)

K

kkk

K

kkkX

cPcPcPcpdxXCI11

loglog,, xx

N

n

K

k

nk

nk oc

NE

1 1

)(log1

Minimum Classification Error (MCE)Minimum Classification Error (MCE)– Nagyon gyakorlatias: nem foglalkozik a valszámos háttérrel…Nagyon gyakorlatias: nem foglalkozik a valszámos háttérrel…– Közvetlenül a tévesztések számát igyekszik minimalizálniKözvetlenül a tévesztések számát igyekszik minimalizálni

– Minimalizálás: nem triviális, mert lépcsős függvényMinimalizálás: nem triviális, mert lépcsős függvény– Folytonossá tétel (hogy deriválni lehessen):Folytonossá tétel (hogy deriválni lehessen):

» sgn közelítése sigmoiddalsgn közelítése sigmoiddal» max közelítése: jó nagy max közelítése: jó nagy αα mellett mellett

Tanítási módszerek (4)Tanítási módszerek (4)

N

n

n

c

ni

cin

nooE

1

maxsgn12

1

/1

1

1

K

jjo

K

Hány neuron, Gauss, stb. legyen?Hány neuron, Gauss, stb. legyen?– A gépi tanulás legnehezebb problémájaA gépi tanulás legnehezebb problémája– Túl kicsi szabadsági fok: a modell nem képes tanulniTúl kicsi szabadsági fok: a modell nem képes tanulni– Túl nagy: a modell túltanul (magol, nem általánosít)Túl nagy: a modell túltanul (magol, nem általánosít)– Einstein: „Things should be done as simple as possible. But no Einstein: „Things should be done as simple as possible. But no

simpler.”simpler.”– Occam-borotva heurisztika: általában a legegyszerűbb működő Occam-borotva heurisztika: általában a legegyszerűbb működő

magyarázat bizonyul helyesnekmagyarázat bizonyul helyesnek– Ez azonban mindig problémafüggő…Ez azonban mindig problémafüggő…– Így a gyakorlatban általában tapasztalati úton lőjük be…Így a gyakorlatban általában tapasztalati úton lőjük be…

No Free Luch tételNo Free Luch tétel– Nincs általános értelemben vett legjobb tanulómódszer, minden Nincs általános értelemben vett legjobb tanulómódszer, minden

módszerhez található könnyű és nehéz feladatat is!módszerhez található könnyű és nehéz feladatat is!– Azért gyakorlati feladattípusok esetén lehet olyat mondani, hogy az Azért gyakorlati feladattípusok esetén lehet olyat mondani, hogy az

egyik módszercsalád általában jobb rá, mint a másikegyik módszercsalád általában jobb rá, mint a másik

A paraméterszám megválasztásaA paraméterszám megválasztása

A jó jellemzők feladatspecifikusakA jó jellemzők feladatspecifikusak– Elvileg a témában járatos szakértő dolga a kiválasztásukElvileg a témában járatos szakértő dolga a kiválasztásuk– Minél relevánsabb és minél kevesebb jellemzőt kell keresniMinél relevánsabb és minél kevesebb jellemzőt kell keresni

A „dimenzionalitás átka”A „dimenzionalitás átka”– A nem releváns jellemzők nem csökkentik az információtartalmatA nem releváns jellemzők nem csökkentik az információtartalmat– De nagyon megnehezíthetik az algoritmikus modellépítést (tanulást)De nagyon megnehezíthetik az algoritmikus modellépítést (tanulást)

A jellemzőkinyerés gépi támogatása: feature selectionA jellemzőkinyerés gépi támogatása: feature selection– Jellemző-kiválasztás: egy bővebb halmazból kiválogatni a fontos Jellemző-kiválasztás: egy bővebb halmazból kiválogatni a fontos

jellemzőketjellemzőket– Vagy kidobálni a kevésbé fontosakat…Vagy kidobálni a kevésbé fontosakat…– Kritériumok: korreláció, kölcsönös információ, …Kritériumok: korreláció, kölcsönös információ, …– Elvileg minden részhalmazt meg kellene vizsgálniElvileg minden részhalmazt meg kellene vizsgálni– De ez túl sok, inkább mohó algoritmussal, egyenként válogatunkDe ez túl sok, inkább mohó algoritmussal, egyenként válogatunk

A jellemA jellemzőkinyerészőkinyerés

A jellemzőkinyerés támogatásának másik módjaA jellemzőkinyerés támogatásának másik módja Úgy igyekszik transzformálni a jellemzőteret, hogy azzal Úgy igyekszik transzformálni a jellemzőteret, hogy azzal

segítse az osztályok szétválasztásátsegítse az osztályok szétválasztását– A kinyert irányok számának korlátozásával a jellemzők száma is A kinyert irányok számának korlátozásával a jellemzők száma is

csökkenthetőcsökkenthető Lineáris módszerek: lineáris transzformációt találnakLineáris módszerek: lineáris transzformációt találnak

– PCA (Principal Component Analysis): olyan független irányokat PCA (Principal Component Analysis): olyan független irányokat keres, melyek mentén a levetített adatok varianciája nagykeres, melyek mentén a levetített adatok varianciája nagy

– Felügyelet nélkül, azaz az osztálycímkéket nem veszi figyelembeFelügyelet nélkül, azaz az osztálycímkéket nem veszi figyelembe– Nagyon sokat segít pl. GMM-es tanulásnál diagonális Nagyon sokat segít pl. GMM-es tanulásnál diagonális

kovarianciamátrix esetén kovarianciamátrix esetén

JJellemellemzőtér-transzformációzőtér-transzformáció

A PCA szemléltetéseA PCA szemléltetése

Linear Discriminant Analysis: egy másik lineáris Linear Discriminant Analysis: egy másik lineáris módszermódszer– Az osztálycímkéket is felhasználjaAz osztálycímkéket is felhasználja– Arra törekszik, hogy az osztályok szórása minél kisebb legyen, és Arra törekszik, hogy az osztályok szórása minél kisebb legyen, és

egyúttal minél távolabb essenek egymástólegyúttal minél távolabb essenek egymástól Szemléltetés:Szemléltetés:

Az LDAAz LDA

Sokkal radikálisabban képesek „vetemíteni” a teretSokkal radikálisabban képesek „vetemíteni” a teret Háttér: a „kernel-trükk”Háttér: a „kernel-trükk”

– A skalárszorzat-művelet lecserélésével az algoritmus áthelyezése A skalárszorzat-művelet lecserélésével az algoritmus áthelyezése egy nagyobb szabadsági fokot megengedő térbeegy nagyobb szabadsági fokot megengedő térbe

Többek között az előbb látott PCA és LDA is Többek között az előbb látott PCA és LDA is „kernelesíthető”, nemlineárissá tehető így„kernelesíthető”, nemlineárissá tehető így

Nemlineáris módszerekNemlineáris módszerek

A Kernel-PCA szemléltetéseA Kernel-PCA szemléltetése

A Kernel-LDA szemléltetéseA Kernel-LDA szemléltetése

A Kernel-LDA szemléltetése (2)A Kernel-LDA szemléltetése (2)