New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute /...
Transcript of New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute /...
![Page 1: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/1.jpg)
Algoritmi de clasificareARBORI DE DECIZIE
1
![Page 2: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/2.jpg)
Clasificarea❑Se dă o mulțime de antrenare: o mulțime de instanțe (vectori de antrenare, obiecte) ❑Datele de antrenare
❑Instanțele au atribute
❑Fiecare instanță are atribute cu anumite valori
❑De obicei, ultimul atribut este clasa
2
![Page 3: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/3.jpg)
Tipuri de atributeExistă patru tipuri de atribute, organizate pe două coordonate:
❑ Atribute simbolice (calitative): de tip nominal (ex. culoareaochilor, nume, sex, CNP ca obiect, nu număr) şi ordinal(înălțime (mică, medie, mare), ranguri, calificative)
❑ Atribute numerice (cantitative): de tip interval (Temperatura în °C, date calendaristice) şi raţional (lungime, distanță, prețuri)
3
![Page 4: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/4.jpg)
Exemplu de problema de clasificare
4
Atribute /
Instante
Sex Masca Pelerina Cravata Urechi Lupta Clasa
Set de invatare
Batman Masc Da Da Nu Da Nu Bun
Robin Masc Da Da Nu Nu Nu Bun
Alfred Masc Nu Nu Da Nu Nu Bun
Pinguin Masc Nu Nu Da Nu Da Rau
Catwoman Fem Da Nu Nu Da Nu Rau
Joker Masc Nu Nu Nu Nu Nu Rau
Date de test
Batgirl Fem Da Da Nu Da Nu ??
Fred Masc Da Nu Nu Nu Nu ??
![Page 5: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/5.jpg)
Conditii pentru o invatare "buna“Arbore de decizie
5
Cravata
Pelerina Lupta
Rau Bun Bun Rau
DaNu
NuNu Da Da
Clasifica datele
![Page 6: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/6.jpg)
Conditii pentru o invatare "buna"
6
Cravata
PelerinaLupta
Bun
Rau
Bun
Rau
DaNu
Nu
NuDa
Da
Masca
Urechi Sex Urechi
Nu
Nu
Nu
Nu
Nu
Da
Da
Da
Pelerina
BunRau
Bun Rau Lupta
Da
Da
Bun Rau
Fem Masc
Clasifica datele dar complexitate prea mare (intuitiv)
![Page 7: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/7.jpg)
Conditii pentru o invatare "buna"
7
Sex
Bun Rau
Masc Fem
Prea simplu, nu clasifica corect
Aleg prima varianta (cf. lamei lui Occam)
![Page 8: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/8.jpg)
Conditii pentru o invatare "buna"
8
◼ Clasificatoarele trebuie sa fie suficient de
"expresive" pentru a fi in concordanta cu
setul de invatare
◼ Dar clasificatoarele care au o complexitate
prea mare pot duce la fenomenul de
"overfit" (overfitting) = include zgomot sau
sabloane de date nerelevante
![Page 9: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/9.jpg)
Occam Razor
Principiul lamei lui Occam◦ prefer explicatiile simple celor complexe
Wiliam of Occam, 1285 – 1349 (?)
filozof englez
"non sunt multiplicanda entia praeter necessitatem"
9
![Page 10: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/10.jpg)
Invatarea inductiva prin AD
Vede invatarea ca achizitia cunostintelor structurate
Reprezentarea cunostintelor = arbori de decizie (AD)
Problema de invatare = clasificare
Invatare supervizata
Aplicatii posibile
Strategie = invatare batch (ne-incrementala)
AD se construieste pornind de la radacina spre frunze = Top Down Induction of Decision Tree
Exemple
◦ Mediu – istorie a observatiilor
◦ Profesor – expert in domeniu10
![Page 11: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/11.jpg)
ID3 (Quinlan)
Univers de obiecte U descrise in termenii unei colectii de atribute {A}
Fiecare atribut masoara o caracteristica importanta a unui obiect oU
Domeniul de valori atribute DA= discret, simbolic (ulterior extins)
Fiecare obiect apartine unui clase dintr-o multime de clase mutual exclusive {Cl}
Se da setul de invatare (SI)
Problema = obtinerea unor reguli de clasificare / construirea unui ADcare clasifica corect nu numai oSI dar si oU
11
![Page 12: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/12.jpg)
ID3 (Quinlan)Structura iterativa – fereastra din SI
S-au gasit AD corecti in cateva iteratii pt 30 000 obiecte cu 50 atribute
Empiric s-a aratat ca iterativ se obtin arbori mai buni decat daca s-ar construi din tot SI
Utilizare AD
Reguli de decizie
12
![Page 13: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/13.jpg)
ID3 (Quinlan)
Metoda de constructie
C = multmea de obiecte / ex inv. din SI
A – atribut test cu valori / iesiri A1, .. An
[C1, ..Cn], cu Ci ={oC | A = Ai}
"divide-and-conquer"
Impartirea/expandarea AD se opreste cand toate Ciapartin unei aceleiasi clase
Se termina intotdeauna (in cazul cel mai nefavorabil, cate un obiect in fiecare clasa)
13
![Page 14: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/14.jpg)
ID3 – Exemplul 1
14
No. Atribute Clasa
Vreme Temperatura Umiditate Vant
1 soare cald mare fals N
2 soare cald mare adev N
3 nori cald mare fals P
4 ploaie placut mare fals P
5 ploaie racoare normal fals P
6 ploaie racoare normal adev N
7 nori racoare normal adev P
8 soare placut mare fals N
9 soare racoare normal fals P
10 ploaie placut normal fals P
11 soare placut normal adev P
12 nori placut mare adev P
13 nori cald normal fals P
14 ploaie placut mare adev N
![Page 15: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/15.jpg)
ID3 – Exemplul 1
15
Vreme
Umiditate Vant
N P N P
ploaiesoare
adevmare normal fals
P
noriCsoare = {1N,2N,8N,9P,11P}
Cploaie = {4P,5P,6N,10P,14N}
Cploaie = {3P,7P,12P,13P}
![Page 16: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/16.jpg)
ID3 – Exemplul 2 (mai multe clase)
16
No. Risk (Classification) Credit History Debt Collateral Income
1 High Bad High None$0 to $15k
2 High Unknown High None$15 to $35k
3 Moderate Unknown Low None$15 to $35k
4 High Unknown Low None$0k to $15k
5 Low Unknown Low NoneOver $35k
6 Low Unknown Low Adequate Over $35k
7 High Bad Low None$0 to $15k
8 Moderate Bad Low Adequate Over $35k
9 Low Good Low NoneOver $35k
10 Low Good High Adequate Over $35k
11 High Good High None$0 to $15k
12 Moderate Good High None$15 to $35k
13 Low Good High NoneOver $35k
14 High Bad High None$15 to $35k
![Page 17: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/17.jpg)
ID3 – Exemplu mai multe clase
17
Income?
High risk Credit history?
Low risk Moderate riskDebt?
Credit history?
Low riskHigh risk Moderate risk
Moderate riskHigh risk
$0K-$15K
$15K-$35K
$Over 35K
Unknown Bad Good
High Low
UnknownBad
Good
![Page 18: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/18.jpg)
ID3 – Arbore minim
18
Din acelasi SI se pot contrui diferiti AD
❑Cum se poate obtine cel mai mic arbore (lama lui Occam) ?
❑Cum selectez atributul din radacina unuiarbore?
![Page 19: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/19.jpg)
ID3 – Cum selectez A?
19
C cu pP si nN
Se presupune ca:
(1) Orice AD corect va clasifica obiectele proportional cu reprezentarea lor in C
Un obiect arbitrar oC va fi clasificat:
◦ P cu probabilitatea p/(p+n)
◦ N cu probabilitatea n/(p+n)
(2) Cand un AD este utilizat pentru a clasifica obiecte, acesta intoarce o clasa
AD poate fi vazut ca o sursa a unui mesaj 'P' sau 'N' avand informatia necesarapentru a genera acest mesaj
![Page 20: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/20.jpg)
Teoria informatiei ofera criteriul
20
Teoria informatiei furnizeaza fundamentul matematicpentru masurarea continutului de informatie dintr-un mesaj
Un mesaj este privit ca o instanta dintr-un univers al tuturor mesajelor posibile
Transmiterea mesajului este echivalenta cu selectiaunui anumit mesaj din acest univers
![Page 21: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/21.jpg)
Teoria informatiei ofera criteriul
Pentru un univers de mesaje
M = {m1, m2, ..., mn }
si o probabilitate p(mi) de aparitie a fiecarui mesaj, continutul informational I(M) al mesajelor din M se defineste astfel:
I M p mi
i
n
( ) ( )= −
=
1
21
log2(p(mi))
![Page 22: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/22.jpg)
Testul de atribute
❑Urmează o strategie greedy: se partiționează mulțimea de instanțecu un test care maximizează un anumit criteriu
❑Depinde de tipul atributului: nominal, ordinal sau continuu
❑Depinde de numărul de posibilități de partiționare: binar saumultiplu
22
![Page 23: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/23.jpg)
Atribute nominale
❑ Partiționarea multiplă❑Numărul de partiții = numărul de
valori distincte❑Partiționarea binară❑Se împart valorile în două submulțimi❑Trebuie descoperită partiționarea
optimă
23
![Page 24: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/24.jpg)
Atribute ordonale❑ Partiționarea multiplă❑Numărul de partiții = numărul de valori
distincte❑Partiționarea binară❑Se împart valorile în două submulțimi❑Trebuie descoperită partiționarea optimă
24
![Page 25: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/25.jpg)
Atribute continue❑Se discretizează datele pentru a le transforma în atribute ordinale ❑Cu interval egal (histograma)
❑Cu frecvență egală (mulțimi cu numere egale de instanțe)
❑Grupare (clustering)
❑Decizie binară: (Ai < v) sau (Ai > v) ❑Trebuie considerate toate partiționările posibile
❑Necesită un efort de calcul mai mare
25
![Page 26: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/26.jpg)
Discretizarea❑Cu interval egal – de exemplu, 3 intervale ❑[65, 75], (75, 85], (85, 95]
26
![Page 27: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/27.jpg)
Discretizarea
❑Cu frecvență egală❑ de exemplu, 3 intervale
27
![Page 28: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/28.jpg)
Discretizarea
❑Binară❑ de exemplu, 85
28
![Page 29: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/29.jpg)
Partiţionarea optimă❑Euristică: se preferă nodurile cu cele mai omogene distribuții de clasă❑Necesită o măsură a „impurității” nodurilor
29
![Page 30: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/30.jpg)
Măsuri de impuritateEntropia
Shannon, 1948
Graficul entropiei pentru 2 clase
30
![Page 31: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/31.jpg)
Măsuri de impuritateEntropia
Shannon, 1948
Graficul entropiei pentru 3 clase
31
![Page 32: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/32.jpg)
Măsuri de impuritateIndexul Gini
Breinman et al., 1984
Graficul indexului Gini pentru 2 clase
32
![Page 33: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/33.jpg)
Măsuri de impuritate Exemplu
33
![Page 34: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/34.jpg)
Partiţionarea❑Când un nod părinte p este partiționat în k fii, calitatea partiționării
(de exemplu, entropia) se calculează astfel:
❑unde ni este numărul de instanțe din fiul i și n este numărul de instanțe din nodul p
❑s este o partiţionare (engl. “split”) din mulţimea tuturor partiţionărilorposibile
❑Formulă similar pentru indexul Gini
34
![Page 35: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/35.jpg)
Câştigul informaţional
❑Calitatea unei partiționări este determinată de creșterea omogenității submulțimilor rezultate
❑ Trebuie maximizat câștigul informațional:
❑ Deoarece nodului părinze este același pentru toți fiii se preferă valoarea minimă
❑ Termenul de „câștig informațional” se utilizează când se folosește entropia ca măsură de impuritate, dar principiul este același pentru indexul Gini sau orice altă măsură de impuritate
35
![Page 36: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/36.jpg)
Inducţia unui arbore de decizieAlgoritmul lui Hunt❑Fie Dn mulțimea instanțelor de antrenare care ajung la un nod n
❑Algoritmul lui Hunt (Hunt 1962; Tan, Steinbach & Kumar, 2006): ❑Dacă Dn conține instanțe din aceeași clasă yn , atunci n este o frunză
etichetată yn
❑Dacă Dn este o mulțime vidă, atunci n este o frunză etichetată cu clasaimplicită (default) yd
❑Dacă Dn conține instanțe care aparțin mai multor clase, se utilizează un test de atribute pentru a partiționa datele în mulțimi mai mici
❑Se aplică recursiv procedura pentru fiecare submulțime
36
![Page 37: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/37.jpg)
ExempluClasificarea folosind un arbore de decizie❑Datele de antrenare
❑Instanțele au atribute
❑Fiecare instanță are atribute cu anumite valori
❑Ultimul atribut este clasa
37
![Page 38: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/38.jpg)
Exemplu: Construirea unui arbore de deciziePartiţionare după atributul Starea vremii
38
![Page 39: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/39.jpg)
Exemplu: Construirea unui arbore de deciziePartiţionare după atributul Temperatură
39
![Page 40: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/40.jpg)
Exemplu: Construirea unui arbore de deciziePartiţionare după atributul Umiditate
40
![Page 41: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/41.jpg)
Exemplu: Construirea unui arbore de deciziePartiţionare după atributul Vânt
41
![Page 42: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/42.jpg)
Exemplu: Construirea unui arbore de deciziePartiţionare❑Valoarea maximă a câştigului informaţional este corespunzătoareminimului entropiei ponderate şi deci prima partiţionare se va face după atributul Starea vremii.
42
![Page 43: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/43.jpg)
Exemplu: Construirea unui arbore de decizie
❑Pentru nodul N1 se repetă procedura, eliminând atributulStarea vremii şipăstrând doarinstanţele care au ca valoare a acestuia
Soarele (5 instanţe).
43
![Page 44: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/44.jpg)
Exemplu: Construirea unui arbore de deciziePartiţionare
44
![Page 45: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/45.jpg)
Exemplu: Construirea unui arbore de deciziePartiţionare
45
![Page 46: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/46.jpg)
Exemplu: Construirea unui arbore de deciziePartiţionarePentru nodul N2, avem următoarea mulţime de date
Nodul este omogen şi deci va fi la rândul său frunză, fără a mai trebui
partiţionat
46
![Page 47: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/47.jpg)
Exemplu: Construirea unui arbore de deciziePartiţionarePentru nodul N3, avem următoarea mulţime de date
47
![Page 48: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/48.jpg)
Exemplu: Construirea unui arbore de decizieArborele final
Temperatura este un atribut irelevant pentru această clasificare.
48
![Page 49: New Algoritmi de clasificare · 2020. 3. 5. · Exemplu de problema de clasificare 4 Atribute / Instante Sex Masca Pelerina Cravata Urechi Lupta Clasa ... Vreme Temperatura Umiditate](https://reader036.fdocument.pub/reader036/viewer/2022070114/60729aa0329cbe50650f120e/html5/thumbnails/49.jpg)
Bibliografie❑Florin Leon (2012). Inteligenta artificiala: rationament probabilistic, tehnici de clasificare Tehnopress, Iasi, ISBN 978-973-702-932-4, Capitolul 6 şi Capitolul 7
49