ID3 Algoritam
Stefan Jovanović[email protected]
Kako na efikasan način raditi sa velikom količinom informacija
U nekim modelima nije od ključne važnosti tačnost klasifikacije i predikcije modela
Čitljivost modela od suštinskog značajaUpotreba u SQL upitima
2/20Stefan Jovanović [email protected]
Problem?
Sposobnost generisanja razumljivih modelaPravila se mogu lako inerpretirati običnim
jezikomReprezentacija u obliku pravilaSposobnost korišćenja svih tipova atributaJasno odražava važnost pojedinih atributaMali računarki zahtevi
3/20Stefan Jovanović [email protected]
Prednosti metode stabla odlučivanja
ID3 je naslednik sistema za učenje koncepata (CLS – Concept Learning System)
Bazični i jedan od najčešće korišćenih algoritama iz metode stabla odlučivanja
Primeri se klasifikuju polazeci od čvora i prateći grane sve dok se ne dostigne čvor oznacen sa YES ili NO
4/20Stefan Jovanović
Osnovno (1/2)
Algoritam konvergira iterativnoCLS služi kao podprogram algoritmu ID3Odabirom prozora povećava se efikasnost
algoritmaIsključuje nevažne faktoreInformacioni pristup pri izboru najdiskriminatornijeg čvora
5/20Stefan Jovanović [email protected]
Osnovno (2/2)
Resava zadatke učenja sa jednim konceptom ikoristi naučene koncepte da klasifikuje nove primere
Zahteva da svi primeri budu dostupni u prvom koraku
Ograničen broj primera koji se mogu efektivno rešiti
6/20Stefan Jovanović [email protected]
CLS Algoritam (1/2)
Počinje praznim stablom odlučivanja i iterativno ga gradi sve dok ne klasifikuje sve primere
Algoritam rada:Ukoliko su svi primeri pripadaju istoj klasi formirati odgovarajući čvor i statiU suprotnom podeliti ulazni skup primera na
podskupove i primeniti algoritan na svaki podskup
7/20Stefan Jovanović [email protected]
CLS Algoritam (2/2)
Odabrati slučajan podskup veličine W (iz celokupnog skupa primera)Primeniti CLS algoritam za formiranje stabla odlučivanjaPretražiti celokupan skup primera
da bi se pronašli izuzetciAko postoje izuzetci uključiti ih u prozor i
ponoviti prethodne korake
8/20Stefan Jovanović [email protected]
Skica algoritma ID3
Mera neuredjenosti sistema
Karakteriše “čistotu” nekog sistema
Entropija(S) = -pp log2 pp - pn log2 pn Pp – proporcija pozitivnih primera u S Pn – proporcija negativnih primera u S
Uzima se da važi: 0 log 0 = 0
9/20Stefan Jovanović [email protected]
Entropija (1/2)
10/20Stefan Jovanović [email protected]
Entropija (2/2)
- Ukoliko ciljni atribut uzima više od dve vrednosti
Opis u obliku parova: atributi – vrednost
Definisan konačan broj klasa
Klase moraju biti diskretne
Značajan broj primera (nekoliko stotina)
11/20Stefan Jovanović [email protected]
Preduslovi za korišćenje
Nebo Pritisak Vetar Kisa
Čisto Raste Severni NeOblacno Raste Juzni DaOblacno Stabilan Severni DaČisto Opada Severni NeOblacno Opada Severni DaOblacno Raste Severni DaOblacno Opada Juzni NeČisto Raste Juzni Ne
12/20Stefan Jovanović [email protected]
Primer Target
13/20Stefan Jovanović [email protected]
Nebo Pritisak Vetar Kisa
Čisto Raste Severni NeOblacno Raste Juzni DaOblacno Stabilan Severni DaČisto Opada Severni NeOblacno Opada Severni DaOblacno Raste Severni DaOblacno Opada Juzni NeČisto Raste Juzni Ne
M
14/20Stefan Jovanović [email protected]
Nebo Pritisak Vetar Kisa
Čisto Raste Severni NeOblacno Raste Juzni DaOblacno Stabilan Severni DaČisto Opada Severni NeOblacno Opada Severni DaOblacno Raste Severni DaOblacno Opada Juzni NeČisto Raste Juzni Ne
M
15/20Stefan Jovanović [email protected]
Nebo Pritisak Vetar Kisa
Čisto Raste Severni NeOblacno Raste Juzni DaOblacno Stabilan Severni DaČisto Opada Severni NeOblacno Opada Severni DaOblacno Raste Severni DaOblacno Opada Juzni NeČisto Raste Juzni Ne
M
16/20Stefan Jovanović [email protected]
Nebo Pritisak Vetar Kisa
Čisto Raste Severni NeOblacno Raste Juzni DaOblacno Stabilan Severni DaČisto Opada Severni NeOblacno Opada Severni DaOblacno Raste Severni DaOblacno Opada Juzni NeČisto Raste Juzni Ne
BM(vetar) = 1 - B
M(nebo) = 1 - BM(pritisak) = 1 - B
Informacioni sadržaj:
17/20Stefan Jovanović [email protected]
NEBO
ČISTO OBLAČNO
PRITISAKNE
STAGNIRAOPADA RAST
E
DA DAVETAR
JUZNISEVERNI
NEDA
M(vetar) = M(nebo) = M(pritisak) =
Klasifukuje sve primere iz skupa podatakaGeneriše stabla koja su “preterano dobra”
RešenjaZaustaviti proces rasta stabla
pre nego što se dostigne savršena klasifikacija
• Generisati potpuno stablo, a potom vršiti skraćivanje
18/20Stefan Jovanović [email protected]
Over - fitting
http://sr.wikipedia.org
http://dms.irb.hr/tutorial/hr_tut_dtrees.php
http://en.wikipedia.org/wiki/ID3_algorithm
Boško Nikolić, Materijali za nastavu iz predmeta “Ekspertski sistemi”
19/20Stefan Jovanović [email protected]
Reference
Top Related