PRIMJENA METODA NEURONSKIH MREŽA I STABLA …oliver.efri.hr/zavrsni/785.B.pdf · neuronske mreže...
Transcript of PRIMJENA METODA NEURONSKIH MREŽA I STABLA …oliver.efri.hr/zavrsni/785.B.pdf · neuronske mreže...
SVEUČILIŠTE U RIJECI
EKONOMSKI FAKULTET
ANA ŠIROLA
PRIMJENA METODA NEURONSKIH MREŽA I STABLA ODLUČIVANJA
KOD PREDVIĐANJA USPJEŠNOSTI STUDIRANJA
DIPLOMSKI RAD
RIJEKA, 2014.
SVEUČILIŠTE U RIJECI
EKONOMSKI FAKULTET
PRIMJENA METODA NEURONSKIH MREŽA I STABLA ODLUČIVANJA
KOD PREDVIĐANJA USPJEŠNOSTI STUDIRANJA
DIPLOMSKI RAD
Predmet: Teorija odlučivanja
Mentor: dr. sc. Alemka Šegota
Student: Ime i prezime: Ana Širola
Studijski smjer: Marketing
JMBAG: 0081123805
Rijeka, rujan 2014.
SADRŽAJ
1. UVOD ....................................................................................................................... 1
1.1. Predmet i problem istraživanja ........................................................................................... 1
1.2. Svrha i ciljevi istraživanja .................................................................................................. 1
1.3. Struktura rada ..................................................................................................................... 1
1.4. Znanstvene metode ............................................................................................................. 2
2 . PRETHODNA ISTRAŽIVANJA................................................................................ 4
3. METODOLOGIJA NEURONSKIH MREŽA ............................................................. 7
3.1. Općenito o neuronskim mrežama ....................................................................................... 7
3.1.1. Biološke (prirodne) neuronske mreže ......................................................................... 8
3.1.2. Umjetne neuronske mreže ......................................................................................... 10
3.2. Povijest neuronskih mreža ............................................................................................... 12
3. 3. Građa neuronskih mreža .................................................................................................. 13
3.3.1. Vrste neuronskih mreža ............................................................................................. 14
3.3.2. Broj slojeva ............................................................................................................... 15
3.3.3. Tipovi veza između neurona ..................................................................................... 16
3.3.4. Veze između ulaznih i izlaznih vrijednosti ............................................................... 16
3.3.5. Tip učenja .................................................................................................................. 16
3.3.6. Pravila učenja ............................................................................................................ 17
3.4. Rad neuronskih mreža ...................................................................................................... 18
3.4.1. Faza treniranja ........................................................................................................... 18
3.4.2. Faza unakrsne validacije ........................................................................................... 19
3.4.3. Faza testiranja ............................................................................................................ 19
3.5. Dizajn neuronskih mreža .................................................................................................. 19
3.6. Višeslojni perceptron ........................................................................................................ 19
3.7. Prednosti neuronskih mreža ............................................................................................. 21
3.8. Nedostaci i ograničenja neuronskih mreža ....................................................................... 21
4. METODOLOGIJA STABLA ODLUČIVANJA .................................................... 23
4.1. Konstrukcija stabla odlučivanja ....................................................................................... 24
4.2. Pretpostavke uporabe stabla odlučivanja ......................................................................... 25
4.2.1. Prednosti i nedostaci uporabe modela stabla odlučivanja ............................................. 25
4.2.2. Mjerenje kvalitete korištenja modela stabla odlučivanja .............................................. 26
5. REZULTATI ISTRAŽIVANJA ............................................................................. 27
5.1. Rezultati uporabe metode neuronskih mreža ................................................................... 27
5.2. Rezultati metode stabla odlučivanja ............................................................................ 33
5.3. Usporedba rezultata modela neuronskih mreža i stabla odlučivanja ................................ 35
6. ANALIZA OSJETLJIVOSTI ................................................................................. 37
7. ZAKLJUČAK ......................................................................................................... 41
LITERATURA ............................................................................................................... 43
POPIS SLIKA, TABLICA I GRAFIKONA .................................................................. 46
PRILOZI ......................................................................................................................... 47
Prilog 1. ANKETNI UPITNIK ..................................................................................... 477
1
1. UVOD
Tema ovog diplomskog rada je izrada modela neuronskih mreža i stabla odlučivanja za
klasifikaciju studenata prema uspjehu u studiranju. U svrhu izrade modela, podaci za
istraživanje prikupljali su se putem anketnog upitnika, a anketirani su bili studenti
Sveučilišta i Veleučilišta u Rijeci. Anketirani studenti pohađaju fakultete: Ekonomski,
Tehnički, Učiteljski, Pomorski, Građevinski, Fakultet za menadžment u turizmu,
Medicinski te Veleučilište u Rijeci. Anketirano je 172 studenta, a obrada podataka te
izrada modela neuronskih mreža i stabla odlučivanja izvršena je uz pomoć programskog
alata Statistica 12.0.
1.1. Predmet i problem istraživanja
Predmet istraživanja u diplomskom radu jesu varijable koje utječu na uspješnost
studiranja.
Problem istraživanja utvrditi koje varijable imaju veći utjecaj za postizanje većeg
uspjeha studenata, te one čiji je utjecaj znatno manji.
1.2. Svrha i ciljevi istraživanja
Cilj rada je klasificirati studente na način jesu li uspješniji ili manje uspješni, a cilj
proizlazi iz analize varijabli koje utječu na uspješnost studiranja. Svrha rada je istražiti
koje varijable imaju najveći, a koje varijable imaju gotovo neznatan utjecaj na
postizanje uspjeha u studiranju.
Provedeno istraživanje može biti korisno prvenstveno Ministarstvu znanosti
obrazovanja i športa koje obavlja različite poslove koji se odnose na osiguranje što
kvalitetnijeg obrazovanja stanovništva Republike Hrvatske, budući da određuju
nastavne programe visokoobrazovnih ustanova. Osim toga, veliku korist od istraživanja
mogu imati profesori i asistenti visokoobrazovnih institucija ukoliko posvete pažnju na
svoja predavanja kojima uvelike pomažu studentima da u studiranju budu što uspješniji.
1.3. Struktura rada
Rad se sastoji od sedam temeljnih cjelina: uvod, prethodna istraživanja, metodologija
neuronskih mreža, metodologija stabla odlučivanja, rezultati istraživanja, analiza
osjetljivosti te zaključak.
2
U poglavlju prethodna istraživanja dani su zaključci do kojih su došli autori brojnih
istraživanja o uspješnosti korištenja modela neuronskih mreža i stabla odlučivanja
različitih tematika.
Kod metodologije neuronskih mreža objašnjene su biološke (prirodne) i umjetne
neuronske mreže te razvijanje neuronskih mreža kroz povijest. Osim toga, detaljno je
objašnjena građa neuronskih mreža, vrste, tipovi veza između neurona koji se nalaze u
neuronskoj mreži te veze između ulaznih i izlaznih vrijednosti. Također, objašnjeni su
tipovi i pravila učenja neuronskih mreža, rad neuronskih mreža kroz tri temeljne faze:
faza treniranja, faza unakrsne validacije i faza testiranja, dizajn neuronskih mreža te
objašnjen višeslojni perceptron kao jedan od najčešće korištenih vrsta neuronskih
mreža. Na kraju navedene su prednosti i nedostaci te ograničenja kod korištenja
neuronskih mreža.
U poglavlju metodologija stabla odlučivanja objašnjena je sama konstrukcija stabla
odlučivanja te pretpostavke uporabe stabla odlučivanja. Navedene su prednosti i
nedostaci uporabe stabla odlučivanja te mjerenje kvalitete uporabe stabla odlučivanja.
U 5. poglavlju koje nosi naziv rezultati istraživanja, dani su rezultati istraživanja
neuronskih mreža i stabla odlučivanja, te je dana usporedba rezultata tih dvaju modela.
U analizi osjetljivosti objašnjene su varijable koje imaju značajan utjecaj na uspješnost
studiranja u modelima neuronskih mreža i stabla odlučivanja.
Na kraju diplomskog rada nalazi se zaključak koji je ujedno 7. poglavlje te je u njemu
ukratko navedeno do kakvog se zaključka došlo primjenjujući metode neuronskih mreža
i stabla odlučivanja za predviđanje uspješnosti studiranja.
Kao prilozi diplomskog rada naveden je anketni upitnik.
1.4. Znanstvene metode
Rad se temelji na anketnom ispitivanju studenata nekoliko fakulteta Sveučilišta u Rijeci
te Veleučilišta u Rijeci u akademskoj godini 2013./2014. Ispitivani su studenti 2. i 3.
godine preddiplomskog studija, te studenti 1. i 2. godine diplomskog studija i
specijalističkog studija Veleučilišta u Rijeci. Anketnim upitnikom prikupljali su se
demografski podaci studenata te podaci o uspješnosti studenata na fakultetima
3
Sveučilišta u Rijeci. Za predviđanje uspješnosti studiranja upotrijebljene su dvije
metode: metoda umjetnih neuronskih mreža te metoda stabla odlučivanja.
4
2 . PRETHODNA ISTRAŽIVANJA
Malvić i Cvetković (2009) u svom istraživanju kod uporabe neuronskih mreža za
predviđanje poroznosti na primjeru polja Beničanci, došli su do saznanja da je
upotrjebljena neuronska mreža pomogla u određivanju poroznosti u ležištu nafte
obilježenome priličnom heterogenošću, a time i nesigurnostima u predviđanju
poroznosti bilo kojom metodom. Zbog iznimno velikog broja podataka i mogućnosti
obrade programom predviđanje je načinjeno na južnome dijelu polja.
Razvijen sustav za prepoznavanje mikrostruktura materijala pokazao je primjenjivost
neuronskih mreža i kod tog vrlo složenog zadatka klasifikacije. Da bi prikazan (ili
sličan) sustav bio spreman i za svakodnevno, na laboratorijsko, korištenje nužno je
nekoliko poboljšanja. (Pred)obradu slike treba poboljšati tako da utjecaj povećanja
mikrostrukture te stanja slike bude minimalan, a izdvajanje značajki tako da
karakteristična geometrija, tamo gdje postoji, ima dominantan utjecaj. Vrlo je osjetljiva
i priprema, odnosno učenje neuronske mreže: uzorci skupa za učenje moraju biti
reprezentativni i pažljivo odabrani kako bi što bolje opisali pojedinu klasu
mikrostrukture. Konačno, mikrostruktura kao informacija nije dovoljna za opis
materijala: i različiti materijali mogu imati vrlo slične mikrostrukture kao što i isti
materijal može, ovisno o stanju, imati različite mikrostrukture. Sustav za prepoznavanje
slika mikrostrukture trebao bi biti ekspertnog sustava na području materijala koji bi
objedinjavao rezultate prepoznavanja sa drugim podacima i informacijama o materijalu.
Mogućnosti primjene neuronskih mreža su velike. Na nekoliko primjera je njihova
primjenjivost i potvrđena. Vrlo skoro možemo očekivati pojavu više sustava s
neuronskim mrežama u području ispitivanja materijala (Filetin i Galinec).
Rezultati istraživanja koje su provele Zekić – Sušac, Pavleković i Đurđević (2011)
pokazuju da je model neuronskih mreža točnije prepoznao darovitost djece za
matematiku nego procjena nastavnika o darovitosti učenika. Međutim, nastavnici su
uspješniji kod prepoznavanja nedarovitih učenika. Razlika između predviđanja
darovitosti djece od strane nastavnika i predviđanja metodom neuronskih mreža je
statistički značajna (p=0,014) pri čemu se došlo do zaključka da su procjene metodom
neuronskih mreža najbolje i najbliže psihološkim nalazima.
5
Zekić – Sušac, Frajman – Jakšić i Drvenkar (2009) u svom istraživanju, odnosno kod
predviđanja uspješnosti studiranja testirale su i trenirale više arhitektura neuronskih
mreža dobivenih promjenom topologije mreža (broja skrivenih neurona), prijenosnih
funkcija, te pravila učenja. Za svaku arhitekturu koristeći metodu neuronskih mreža
dobivena je stopa ispravne klasifikacije za svaku klasu na uzorku za treniranje i
testiranje. Za mjerilo uspješnosti modela koristile su prosječnu stopu klasifikacije.
Najbolja prosječna stopa klasifikacije na uzorku za testiranje iznosi 66,26% pri čemu su
u neuronskoj mreži korištena 33 skrivena neurona, logistic prijenosna funkcija, delta –
bar – delta pravilo učenja, a mreža je učila na najviše 1000 epoha. Upravo broj
skrivenih neurona koji je dao najmanju grešku u fazi unakrsne validacije bio je 33, što
bi značilo da je u uzorku za testiranje 66,26% slučajeva bilo ispravno klasificirano, dok
je 33,74% slučajeva stavljeno u pogrešnu klasu.
Međutim, korištenjem druge metode, metoda CART stabla odlučivanja, prosječna stopa
klasifikacije bila je 88,36% što je više od prosječne stope klasifikacije dobivene s
pomoću najboljeg modela neuronskih mreža (66,26%). Upravo metoda stabla
odlučivanja bila je posebno točna pri prepoznavanju „lošijih“ studenata s nižim
prosjekom ocjena od 3, a stopa ispravne klasifikacije iznosila je čak 100%. Nešto niža
stopa klasifikacije bila je kod prepoznavanja „boljih“ studenata te je iznosila 76,71%,
ali čak i ta stopa pokazuje da stabla odlučivanja uspijevaju lakše prepoznati „bolje“ i
„lošije“ studente od najbolje metode neuronskih mreža.
Dobiveno stablo odlučivanja uspješno je klasificiralo 96 od 100 primjera za formiranje
modela, a ista je preciznost klasifikacije postignuta i na primjerima za testiranje gdje je
klasificirano 48 od 50 primjera. Podjednaka preciznost klasifikacije na primjerima za
učenje i za testiranje svjedoči o dobroj kvaliteti dobivenog stabla odlučivanja.
Dobiveno stablo je jednostavno i lako interpretabilno. Metodom glavnih komponenata,
s obzirom na broj kvasaca i plijesni u gramu sira, izdvojena su tri faktora koji
predstavljaju oko 78 % ukupne varijacije podataka. To su: mikrobiološka kvaliteta
zraka, broj aerobnih mezofilnih bakterija u ispirnoj vodi i pasteriziranom mlijeku te
ukupan broj kvasaca i plijesni u ispirnoj vodi. Metodom stabla odlučivanja, kao
najvažnija varijabla s obzirom na broj kvasaca i plijesni, u konačnom proizvodu
izdvojen je broj kvasaca i plijesni u zraku, a kao druga po važnosti varijabla broj
6
aerobnih mezofilnih bakterija u zraku. To su varijable koje čine prvi faktor dobiven
metodom glavnih komponenata (Sobota Šalomon, Božanić i Dobša 2010).
7
3. METODOLOGIJA NEURONSKIH MREŽA
Kao jednom od metoda za predviđanje uspješnosti studiranja, odabrana je upravo
metoda neuronskih mreža. Navedenom metodom odredit će se koje varijable imaju
manje, a koje više utjecaja na uspješnost studenata tijekom njihovog studiranja.
3.1. Općenito o neuronskim mrežama
Neuronska mreža (engl. Neural Network) zbir je neurona koji su međusobno povezani i
interaktivni kroz operacije obrade signala. Tradicijski pojam neuronska mreža odnosi se
na biološku neuronsku mrežu, tj. mrežu bioloških neurona. Moderno značenje ovog
pojma uključuje i umjetne neuronske mreže, građene od umjetnih neurona ili čvorova
(Wikipedija 2013).
U nastavku je dana slika koja prikazuje izgled umjetne neuronske mreže.
Slika 1. Izgled umjetne neuronske mreže
Izvor: Lukić, 2011.
Na slici 1. može se vidjeti izgled umjetne neuronske mreže koja se sastoji od tri različita
sloja. Svaka višeslojna mreža ima ulazni i izlazni sloj, a između ta dva sloja nalaze se
tzv. skriveni slojevi čiji broj nije ograničen.
Postoje dvije temeljne vrste neuronskih mreža, a to su:
1. Biološke (prirodne) neuronske mreže
2. Umjetne neuronske mreže
8
3.1.1. Biološke (prirodne) neuronske mreže
Biološka neuronska mreža je građena od stvarnih bioloških neurona koji su fizički ili
funkcionalno povezani u periferni živčani sustav ili središnji živčani sustav. U
području neuroznanosti, često se identificiraju kao grupe neurona koje izvode specifičnu
fiziološku funkciju. Stvarni, biološki živčani sustav je iznimno složen i uključuje neka
svojstva koja mogu biti redundantna za shvaćanje rada umjetnih neuronskih mreža
(Wikipedija 2013).
Biološka neuronska mreža izuzetno je složena, na što upućuje njezina sama građa od
preko 100 milijardi neurona koji komuniciraju kroz tijelo putem neuronskih vlakana. Ta
mreža neurona je „odgovorna“ za sve fenomene koje nazivamo razmišljanje, učenje,
emocija, spoznaja i percepcija kao i za izvođenje odgovarajuće motorne senzorike u
autonomnih funkcija.
Postoji i signifikantan broj sinaptičkih veza u smjerovima:
1. akson – akson,
2. akson – tijelo neurona,
3. dendriti - dendriti (Novaković, Majetić i Široki, 1998:3).
U nastavku je prikaz biološkog (prirodnog) neurona koji je sastavni dio ljudskog
živčanog sustava.
Slika 2. Biološki (prirodni) neuron
Izvor: Dalbelo Bašić, Čupić i Šnajder 2008
9
Na Slici 2. dan je izgled biološkog (prirodnog) neurona koji se sastoji od tijela stanice i
dvije vrsta nastavaka. Jedna vrsta nastavaka jesu aksoni čija je zadaća prenošenje
impulsa na ostale neurone. Akson predstavlja tanku cjevčicu koja je sa jedne strane
povezana na tijelo neurona, a sa druge strane se dijeli na niz grana. Krajevi ovih grana
završavaju malim zadebljanjima koji najčešće dodiruju dendrite, a rjeđe tijelo drugog
neurona. Mali razmak između završetka aksona prethodnog neurona i dendrita ili tijela
sljedećeg neurona naziva se sinapsa. Akson jednog nerona formira sinaptičke veze s
mnoštvom drugih neurona (Novaković, Majetić i Široki, 1998:2). Druga vrsta
nastavaka su dendriti čija je zadaća primanje impulsa koje prenose aksoni. Signali,
odnosno impulsi koje prenose dendriti mogu bili ili smirujući ili uzbudni.
Neuroni su organizirani u složene lance i mreže, kroz koje se prenose signali u
živčanom sustavu (Brain Campaign).
Jedan neuron može generirati impuls koji će u neuronskoj mreži aktivirati ili smiriti
stotine ili tisuće drugih neurona, od kojih svaki može biti istovremeno uzbuđivan od
stotine ili tisuće drugih neurona. Ovim se realizira visoki stupanj povezanosti neurona u
neuronskoj mreži, što upućuje na zaključak da se kompleksne funkcije neuronske mreže
ostvaruju kompleksnošću veza (težinama) među neuronima, prije nego isključivo
kompleksnošću svakog neurona ponaosob (Novaković, Majetić i Široki, 1998:3).
Komunikacija se u mozgu odvija na dva načina, a to su:
1. Kemijskim signalima
2. Preko sinapsi, električnim signalima unutar neurona.
Aktiviranje jedne sinapse obično nije dovoljno da bi se neuron pobudio. Međutim,
uzastopno aktiviranje jedne sinapse u kratkom vremenskom intervalu ili simulantno
aktiviranje više sinapsi može dovesti da izlazne aktivnosti neurona. Ovo znači da tijelo
integrira ulazni impuls i skuplja impuls sa više ulaza. Također treba napomenuti da
aktivacijski impuls iste amplitude koji prolazi kroz različite sinapse različito utječe na
ukupni potencijal tijela. Impulsi sa sinapsi koje se nalaze na dendritima teže aktiviranju
neuron nego signali sinapsi na tijelu. Osim toga, prolaz impulsa kroz sinapsu mijenja
fizička svojstva spoja dva neurona tako da se u sljedećoj aktivaciji sinapsa i električno
ponaša različito (Andrejević, 2004:17).
10
Gledajući prema obliku tijela biološkog (prirodnog) neurona, došlo se do spoznaje da
postoji čak nekoliko stotina vrsta bioloških neurona. Prema toma, ovisno o vrstama
biološkog neurona, svaka vrsta zadužena je za izvođenje određene, specijalizirane i
važne funkcije.
3.1.2. Umjetne neuronske mreže
Umjetna neuronska mreža u širem je smislu riječi umjetna replika ljudskog mozga
kojom se nastoji simulirati postupak učenja. To je paradigma kojom su implementirani
pojednostavljeni modeli što sačinjavaju biološku neuronsku mrežu. Neuronska mreža
jest skup međusobno povezanih jednostavnih procesnih elemenata, jedinica ili čvorova,
čija se funkcionalnost temelji na biološkom neuronu. Pri tome je obradbena moć mreže
pohranjena u snazi veza između pojedinih neurona tj. težinama do kojih se dolazi
postupkom prilagodbe odnosno učenjem iz skupa podataka za učenje. Neuronska mreža
obrađuje podatke distribuiranim paralelnim radom svojih čvorova (Dalbelo Bašić,
Čupić i Šnajder 2008). U nastavku dana je slika koja prikazuje izgled umjetnog
neurona.
Slika 3. Umjetni neuron
Izvor: Dalbelo Bašić, Čupić i Šnajder 2008
Slika 3. Prikazuje izgled umjetnog neurona. Umjetni neuron dizajniran je kako bi
oponašao osnovne funkcije biološkom (prirodnog) neurona. Ulogu tijela biološkog
neurona u umjetnom neuronu preuzima sumator, ulogu dendrita preuzimaju ulazi u
sumator, akson umjetnog neurona postaje izlaz iz sumatora, dok ulogu praga
osjetljivosti bioloških neurona u umjetnom neronu preuzima aktivacijska funkcija.
Aktivacijske funkcije mogu biti:
1. Linearne
2. Nelinearne.
11
Kod linearnih aktivacijskih funkcija, izlaz sumatora množi se s nekim faktorom
(pojačanjem) i tako dobiva izlaz neurona. Nelinearne funkcije mogu poprimiti različite
oblike, ali se najčešće koriste: funkcije praga osjetljivosti, sigmoidalne, hiperbolične i
harmoničke funkcije. Nelinearne aktivacijske funkcije prevode izlaz sumatora na izlaz
neurona preko nelinearnog pojačanja (Novaković, Majetić i Široki, 1998:5).
Ulazne signale, njih ukupno n, označavamo sa , ,... . Težine označavamo sa ,
, ... .
Ulazni signali općenito su realni brojevi u intervalu [-1,1], [0,1] ili samo elementi iz
{0,1}, kada govorimo o Booleovom ulazu. Težinska suma net dana je s
θ
ali se zbog kompaktnosti često dogovorno uzima da je vrijednost praga θ = - te se
dodaje ulazni signal s fiksiranom vrijednošću 1, pa pišemo jednostavnije
Izvor: Dalbelo Bašić, Čupić i Šnajder 2008
Umjetni neuron je jedinica za obradu podataka (varijabla) koja prima ponderirane
ulazne vrijednosti od drugih varijabli, prema nekoj formuli transformira primljenu
vrijednost, te šalje izlaz drugim varijablama. Učenje se odvija promjenom vrijednosti
“težina” među varijablama (težine su ponderi kojima se množe ulazne vrijednosti u
neki “neuron”) (Zekić – Sušac).
U literaturi je moguće susresti se s više različitih modela neurona. Svi oni nastoje
najprije matematički opisati događanja u prirodnom neuronu čime nastaje matematički
model, u svrhu da se kasnije takav model realizira elekronskim putem, to jest uz pomoć
elektronskog modela. Različiti modeli se međusobno razlikuju u razini apstrakcije
pojava u prirodnom neuronu.
12
Sve modele je moguće svrstati u dvije velike skupine. Prvu čine statički, a drugu
dinamički modeli. Statički modeli opisuju neuron algearskim jednadžbama koje
povezuju ulazne impulse i impuls na izlazu. Za razliku od njih ulazni impulsi i izlazni
impuls neurona u dinamičkim modelima su povezani diferencijalnim jednadžbama.
Razlika je jasna. U statičkim modelima je zanemarena dinamika pojava u neuronu
smatrajući da su ulazni signali sporo promjenjivi (Milenković 1997:16).
3.2. Povijest neuronskih mreža
Neuronsko računalstvo jedna je od grana umjetne inteligencije, a početak njegove
uporabe veže se za pedesete godine 20. stoljeća na konferenciji Dartmouth Research
Project on Artifical Inteligence. Na toj konferenciji je najavljeno ostvarivanje vizije
računalnog modela koji bi mogao u nekim temeljnim principima oponašati
funkcioniranje mozga. Pojavljivanje neuronskog računalstva je odgovor Von
Neumannovim računalima, nastojeći ostvariti ili simulirati usporednu obradu
informacija koju koristi ljudski mozak dok se sjeda, razmišlja, rješava probleme itd.(
Mačkić 2009).
Za razvoj neuronskih mreža bitno je navesti nekoliko ključnih događaja koji su tome
dali poseban značaj:
· 1943 - McCullock i Pitts postavljaju temelje za razvoj neuronskih mreža tako što
prvi dokazuju da neuroni mogu imati dva stanja (pobuđujuće i umirujuće) i da
njihova aktivnost ovisi o nekom pragu vrijednosti.
· 1949 - Hebb prvi predložio pravilo kojim se opisuje proces učenja (Hebb-ovo
pravilo)
· 1956 - Dartmouth Summer Conference na kojoj su Rochester i skupina autora
predstavili prvu simulaciju Hebb-ovog modela koja je preteča modela
neuronskih mreža
· 1958 - Rosenblatt razvio prvu neuronsku mrežu perceptron, koja je dvoslojna i
nije mogla rješavati probleme klasifikacije koji nisu linearno djeljivi (npr. XOR
problem)
· 1974 - razvijena višeslojna perceptron mreža - MLP (Paul Werbos), kao preteča
Backpropagation mreže, koja prevladava nedostatak perceptrona uvođenjem
učenja u skrivenom sloju
13
· 1986 - Backpropagation mrežu usavršuju Rumelhart, Hinton i Williams, ona
vraća ugled neuronskim mrežama, jer omogućuje aproksimiranje gotovo svih
funkcija i rješavanje praktičnih problema (Edukacijski Repozitorij za
Inteligentne Sustave 2003).
Nakon navedenih događaja raste znanstveni i komercijalni interes za neuronske mreže.
Uslijed toga razvijeni su i brojni algoritmi kojima se objašnjava rad neuronskih mreža, a
danas najveću komercijalnu upotrebu ima mreža „širenje unatrag“ (eng.
Backpropagation) (Edukacijski Repozitorij za Inteligentne Sustave 2003).
3. 3. Građa neuronskih mreža
Ljudski mozak sastoji se od nekoliko desetaka milijardi neurona koji su međusobno
povezani u mrežu te tako povezani mogu paralelno obrađivati informacije. Osnovna
jedinica živčanog sustava jest neuron. Neuron prima informacije od drugih neurona
putem dendrita, obrađuje ih, a zatim šalje impuls putem aksona i sinapsa ostalim
neuronima u mreži.
Način na koji povezujemo neurone u mrežu čini građu, odnosno arhitekturu neuronske
mreže. Neuroni povezani u mrežu organizirani su u slojeve. Svaka mreža ima neurone
koji služe za prihvat ulaznih vrijednosti i čine ulazni sloj neurona, te neurone koji daju
odgovor mreže i čine izlazni sloj neurona. Svi ostali neuroni koji se nalaze između tih
dvaju slojeva čine skriveni sloj neurona (Mandić 2012).
U nastavku je dan prikaz građe neuronske mreže.
14
Slika 4. Građa neuronske mreže
Izvor: Zekić-Sušac, Frajman-Jakšić i Drvenkar 2009:8
Na Slici 4. može se vidjeti građa neuronskih mreža koja se sastoji od ulaznog sloja koji
prima informacije, izlaznog sloja te jednog skrivenog sloja koji se nalazi između njih.
Svaka neuronska mreže mora biti građena od ulaznog i izlaznog sloja, a može imati i
više skrivenih slojeva i broj neurona u svakom skrivenom sloju ovisno o vrsti mreže i
složenosti problema koji se rješava. Prema tome, što je problem složeniji, i broj slojeva,
a k tome i broj neurona u skrivenim slojevima, biti će veći.
3.3.1. Vrste neuronskih mreža
Umjetne neuronske mreže prema postavljanom kriteriju kategoriziraju se u različite
skupine.
Neuronske mreže razlikuju se prema sljedećim kriterijima:
· Broju slojeva (dvoslojne i višeslojne)
· tipu veze između neurona (inter-slojne veze i intra-slojne veze),
· vezi između ulaznih i izlaznih podataka (autoasocijativne i heteroasocijativne),
· ulaznim i izlaznim (prijenosnim) funkcijama,
· pravilu učenja,
· ostalim parametrima (sigurnosti ispaljivanja, vremenskim karakteristikama, i dr.)
(Edukacijski Repozitorij za Inteligentne Sustave 2003).
15
Od navedenih kriterija, od posebnog je značenja pravilo učenja kao kriterij za
razlikovanje algoritama.
3.3.2. Broj slojeva
Način na koji određeni broj neurona čini mrežu mogao bi se opisati pomoću nekoliko
vrsta slojeva. Prvo se odabrani broj neurona poreda u niz čineći ulazni sloj. Ti neuroni
svoje signale šalju prema među slojevima koji nemaju vezu s okolinom (ni ulaznu, ni
izlaznu) te su nazvani i skriveni slojevi. Način veze između ulaznoga i tih slojeva
određuje vrstu mreže, a mreža je obično potpuno povezana unatrag, što znači da je svaki
neuron povezan sa svakim izlazom iz prethodnoga sloja. Rezultat je, nakon obrade,
uvijek izražen kroz jedan izlazni sloj koji je veza prema vanjskome svijetu.
Sljedeća slika prikazuje shemu organizacije neuronske mreže preko slojeva.
Slika 5. Shema organizacije neuronske mreže preko slojeva
Izvor: Malić i Cvetković 2009
Slika 5. Prikazuje shemu organizacije neuronske mreže preko slojeva. Ulazni sloj
neuronske mreže prima i prosljeđuje impulse iz vanjskog svijeta (okoline). Skriveni
slojevi primaju te impulse te ih obrađuju, dok izlazni sloj prikuplja rezultate te stvara
izlaz.
Prema broju slojeva neuronske mreže dijele se na:
1. dvoslojne – imaju samo ulazni i izlazni sloj, npr. Perceptron, ADALINE,
2. višeslojne – imaju ulazni, izlazni i jedan ili više skrivenih slojeva, npr.
16
Backpropagation, Radial Basis Function, itd.( Tadić Marina 2010:10).
3.3.3. Tipovi veza između neurona
Prema tipu, veze između neurona dijelimo na:
1. Inter-slojna – veze između dva sloja; potpuno povezane, djelomično povezane,
jednosmjerne, dvosmjerne, hijerarhijske, rezonantne
2. Intra-slojna – veze između neurona u jednom sloju; ponavljajuće, usmjerene na
blisko okruženje
3.3.4. Veze između ulaznih i izlaznih vrijednosti
Neuronske mreže se mogu razlikovati s obzirom na veze između ulaznih i izlaznih
vrijednosti.
One mogu biti:
1. autoasocijativne - ulazni vektor jednak je kao izlazni vektor; često je koristi u
problemima prepoznavanja uzoraka,
2. heteroasocijativne – kada je ulazni vektor različit od izlaznog vektora
3.3.5. Tip učenja
Učenje je proces mijenjanja težina u mreži, a odvija se kao odgovor na podatke izvana
koji su predstavljeni ulaznom sloju i u nekim mrežama izlaznom sloju. Podaci koji se
predstavljaju izlaznom sloju su željene vrijednosti izlaznih varijabli (Edukacijski
Repozitorij za Inteligentne Sustave 2003).
Da bi se postiglo da mreža zaista i aproksimira željenu nelinearnu funkciju treba
odrediti prave iznose njenim sinaptičkim težinskim koeficijentima. Postupak
određivanja „pravih“ iznosa sinaptičkih težinskih koeficijenata naziva se učenje mreže
(Domijan 2004).
Učenje se dijeli na 2 osnovna tipa:
1. nadgledano učenje ili supervizorno učenje, uz nadzor (ukoliko su poznate željene
vrijednosti izlaznih varijabli) – Supervizorno učenje zahtijeva vanjskog „učitelja“
17
neuronske mreže koji promatra ponašanje mreže korigirajući istu dok ne dobije
željeno ponašanje mreže (Novaković, Majetić i Široki, 1998.). U procesu
nadgledanog učenja mreži se prezentiraju pobuda i konkretan, tj. željeni odaziv koji
se od nje očekuje. Za određivanje željenog, to jest točnog odaziva zadužen je učitelj
ili supervizor. Stvarni odaziv mreže uspoređuje se za željenim, a mjera odstupanja
jednog od drugog se vraća procesu za učenje. Na osnovu ove greške proces učenja
vrši promjenu parametara mreže, težeći da minimizira razliku ta dva odaziva
(Milenković 1997:26). Neke od vrsti nadgledanog učenja su: mreža širenje unatrag,
mreža s radijalno zasnovanom funkcijom, modularna mreža, vjerojatnosna mreža,
LVQ (mreža učeće vektorske kvantizacije), i drugi.
2. nenadgledano učenje ili nesupervizorno učenje, bez nadzora (ukoliko nisu
poznate željene vrijednosti izlaznih varijabli) – Kod nesupervizornog učenja
neuronske mreže ne koristi se vanjski učitelj. Ovdje se mreže sama organizira, pa se
može učene ovom metodom nazivaju samoorganizirajuće neuronske mreže
(Novaković, Majetić i Široki, 1998:8). Budući da kod nenadgledanog učenja nema
učitelja, to jest supervizora, nema ni željenog odaziva mreže. Od mreže i procesa
učenja se očekuje da same uoče pravilnosti u ulaznim podacima i da definiraju
konkretan odaziv. Proces učenja vrši promjenu težina samo na osnovu ponavanja
trenutnog ulaza i izlaza mreže (Milenković 1997:26). Vrste nenadgledanog učenja
su: Kohonenova mreža, mreža konkurentskog učenja, te ART (mreža adaptivne
rezonantne teorije).
Neki autori navode još jedan oblik učenja neuronskih mreža, a to je učenje koje je
kombinacija nadgledanog i nenadgledanog učenja (engl. Reinforcement learning). Može
se reći da i ovo učenje pripada vrsti nadgledanih s tom razlikom što je greška, to jest
podatak o razlici stvarnog i željenog odaziva mreže vrlo nejasan. Obično se to svodi
samo na informaciju da se greška dogodila (Milenković 1997:26). Ono što je
karakteristično za tu vrstu učenja jest što mreža uči samostalno, a povremeno dobiva
ocjenu prethodnog rada.
3.3.6. Pravila učenja
Pravilo učenja je formula koja se upotrebljava za prilagođavanje težina veza među
neuronima ( ) (Zekić - Sušac).
18
Najčešće korištena pravila učenja su:
• Delta pravilo (Widrow/Hoff-ovo pravilo),
• Poopćeno Delta pravilo,
• Delta-Bar-Delta i Prošireno Delta-Bar-Delta pravilo,
• Kohonen-ovo pravilo.
Prvo od pravila učenja jest Delta pravilo. Još je poznato kao Widrow – Hoffovo pravilo
ili kao pravilo najmanjih srednjih kvadrata (LMS, eng. Least Mean Square), a njegov je
cilj minimiziranje funkcije cilja određivanjem vrijednosti težina. Cilj je minimizirati
sumu kvadrata grešaka, gdje je greška definirana kao razlika između izračunatog i
stvarnog izlaza nekog od neurona za ulazne podatke. Delta pravilo ima i svoje
nedostatke koji se očituju u problemu lokalnog minimuma, i to u slučaju kada je
najmanja pogreška funkcije pronađena samo za lokalno područje te je svojom pojavom
uzrokovala prekid učenja bez dostizanja minimuma cijele funkcije. Drugi nedostatak
očituje se u problemu penetriranja koji se pojavljuje ukoliko nije moguće unaprijed
odrediti trajanje učenja mreže kako bi ona mogla naučeno znanje generalizirani na novo
nadodanim podacima. Ukoliko je učenje mreže predugo, mreža će naučiti i neke
nebitne veze što će potom uzrokovati njihovu primjenu na podacima za testiranje i time
stvoriti veliku pogrešku.
3.4. Rad neuronskih mreža
Rad umjetne neuronske mreže odvija se u tri osnovne faze koje možemo podijeliti na:
1. Faza treniranja
2. Faza unakrsne validacije
3. Faza testiranja
3.4.1. Faza treniranja
U prvoj fazi, fazi treniranja neuronska mreža uči na prošlim događajima, a rezultat koji
se dobije u toj fazi ne uzima se kao ocjena. Razlog tome je jer je taj rezultat dobiven na
uzorku za učenje. Faza treniranja ujedno je i faza koja najdulje traje, a provodi se u
tisućama iteracija na istom uzorku.
19
3.4.2. Faza unakrsne validacije
Nakon faze treniranja slijedi faza unakrsne validacije u kojoj neuronska mreža nastoji
optimizirati duljinu treniranja, broj skrivenih neurona i parametre (stopu učenja i
momentum). Najbolja dobivena mreža se pohranjuje i testira u sljedećoj fazi (Zekić -
Sušac).
3.4.3. Faza testiranja
Posljednja faza rada neuronskih mreža je faza testiranja. U fazi testiranja naučena mreža
se konačno testira na uzorku koji nije do sada vidjela, i taj se rezultat uzima kao ocjena
mreže. Mreža s najboljim test rezultatom se koristi u praksi (Zekić - Sušac).
3.5. Dizajn neuronskih mreža
Proces dizajniranja neuronskih mreža možemo podijeliti na nekoliko faza:
1. definiranje modela (izbor ulaznih i izlaznih varijabli, priprema ulaznih
podataka),
2. izbor najprikladnijeg algoritma (npr. Backpropagation),
3. raspoređivanje neurona u slojeve (izbor broja skrivenih slojeva, te broja neurona
u svakom skrivenom sloju),
4. određivanje tipa veze među neuronima, te ulaznih i prijenosnih funkcija između
slojeva,
5. izbor pravila učenja, te nekih parametara učenja, npr. koeficijenta učenja i
momentuma koji utječu na brzinu i kvalitetu učenja,
6. izbor mjerila za ocjenjivanje mreže (npr. RMS greška ili stopa klasifikacije), i
7. provođenje postupka učenja (Edukacijski Repozitorij za Inteligentne Sustave
2003).
3.6. Višeslojni perceptron
Perceptron je binarni neuron čiji izlaz može poprimiti dvije vrijednosti: 0 ili 1, što znači,
ukoliko iznosi 0, perceptron je u neaktivnom stanju, a ukoliko iznosi 1, tada je
perceptron aktivan te šalje signal drugim neuronima.
20
Višeslojni perceptron jedan je od najčešće upotrebljavanih vrsta neuronskih mreža.
Višeslojni perceptron mreža je koja se sastoji od ulaznog sloja sa senzornim čvorovima,
jednim ili više skrivenih slojeva te na kraju od izlaznog sloja. U nastavku se nalazi Slika
6. koja prikazuje izgled višeslojnog perceptrona.
Slika 6. Višeslojni perceptron
Izvor: Planinić 2010:29
Slika 6. Prikazuje građu višeslojnog perceptrona. Iz slike može se vidjeti da su svi
čvorovi u mreže međusobno povezani, što znači da su i svi neuroni u svakom sloju
povezani sa svim neuronima iz prethodnog sloja. Također, jasno je vidljivo da impuls se
kroz mrežu širi prema naprijed, sloj po sloj, tj. s lijeve na desnu stranu. Ulazi neurona
ulaznog sloja neurona ujedno su i ulazi u mrežu, međutim ti neuroni nisu neuroni u
pravom smislu, već su to u biti čvorovi za distribuciju ulaza neuronske mreže prema
prvom skrivenom sloju neurona u neuronskoj mreži.
Treba naglasiti su svi slojevi mreže potpuno umreženi, što znači da je svaki neuron
promatranog sloja vezan sa svakim neuronom pretodnog sloja (Novaković, Majetić i
Široki, 1998:24). Izuzetak su jedino i uvijek neuroni označeni sa bias1.
Skriveni slojevi su svi slojevi u neuronskoj mreži koji nisu u direktnom doticaju s
okolinom. Broj skivenih slojeva je proizvoljan, ali najčešće se koriste samo jedan ili dva
skrivena sloja u neuronskoj mreži.
Za višeslojni perceptron karakteristično je što sadrži veliku broj sinapsi i to bez
povratnih veza što najčešće čini potpuno povezanu mrežu, međutim ne mora biti tako.
1 Bias – neuroni konstante izlazne vrijednosti jednake jedinici
21
Kao aktivacijska funkcija u višeslojnom perceptronu upotrebljava se nelinearna
funkcija, pr. sigmoidna aktivacijska funkcija.
3.7. Prednosti neuronskih mreža
Bitna prednost kod korištenja modela neuronskih mreža jest visoka elastičnost prema
poremećajima kod ulaznih podataka te kod sposobnosti „učenja“ mreže.
Ponavljanjem procesa učenja i asocijativnom memorijom model neuronske mreže može
precizno klasificirati informacije prema unaprijed zadanoj strukturi (Dragičević, M.,
2007:82).
Temelj modela umjetnih neuronskih mreža leži u tehnologijama umjetne inteligencija
što daje prirodniji odraz u modeliranju realnog svijeta. Danas se čine veliki napori za
dobivanje modela mozga čovjeka te se ostvaruju fascinantni rezultati koji ponovno
inspiriraju za daljnje poduzimanje novih i većih napora u istraživanju.
Rezultati dobiveni istraživanjem biološkog neurona modificiraju i modele umjetnih
neurona u smislu približavanja biološkim neuronima. Paralelno s ovim inženjeri koriste
umjetne neuronske mreže u rješavanju praktičnih problema postižući ohrabrujuće
rezultate u cijelom nizu inženjerskih disciplina. Može se očekivati da će se visoka
koncentracija multidisciplinarnog pristupa (biolozi, anatomi, psiholozi, inženjeri,
matematičari, pa čak i filozofi) problemu umjetnih neuronskih mreža, u budućnosti
omogućiti dosezanje postavljenog cilja, a taj je zaista uzvišen: u potpunosti razumjeti
ljudsku misao, odnosno spoznati samoga sebe (Novaković, Majetić i Široki, 1998:5).
3.8. Nedostaci i ograničenja neuronskih mreža
Osim prednosti, neuronske mreže imaju i brojna ograničenja i nedostatke. Jedan od
nedostataka neuronskih mreža jest da nisu dobre za aritmetičke proračune i zadatke
obrade podataka. Međutim, iako su vrlo korisne kod predviđanja, njihova se
ograničenost ističe kod objašnjavanja. U nastavku je dana Slika 7. na kojoj je prikazan
dijagram zavisnosti moći predviđanja i objašnjavanja modela neuronskih mreža i
modela stabla odlučivanja.
22
Slika 7. Dijagram zavisnosti moći predviđanja i objašnjavanja modela neuronskih mreža i modela stabla odlučivanja
Izvor: Lojanica 2001
Na slici 7. Može se vidjeti kako su modeli neuronskih mreža izuzetno korisni kod
predviđanja, dok su izuzetno loši kod davanja objašnjenja. To znači da su modeli
neuronskih mreža ograničene kod davanja objašnjenja njhovom korisniku na koji se
način došlo do određenog rješenja.
Danas se pretpostavlja da će umjetne neuronske mreže u perspektivi moći oponašati
funkcije mozga čovjeka. Da bi se to omogućilo mora se moći razumjeti funkcije i
organizaciju rada mozga čovjeka, što je zadatak koji se vjerojatno neće u potpunosti
ostvariti u bližoj budućnosti. Postojeće umjerne neuronske mreže grade se na osnovi
izuzetno pojednostavljenih modela koji ne uzimaju o obzir većinu poznatih funkcija
mozga čovjeka. Razlog tome je činjenica da ne postoji odgovarajući matematički aparat
kojim bi se poznate kompleksne funkcije preslikale u odgovarajući model. U tom smisli
pristup preko koncepta tzv. neizrazite logike (fuzzy logic) dosta obećava već u bliskoj
budućnosti. Naime, taj koncept se danas koristi za opisivanje nejasnih sustava (sustavi
sa sivim zonama), te za tzv. neizrazito upravljanje (fuzzy control) (Novaković, Majetić i
Široki, 1998:4).
23
4. METODOLOGIJA STABLA ODLUČIVANJA
Drvo (stablo) odlučivanja još je jedna tehnika koja se pokazuje vrlo korisnom u
donošenju odluka. Drvo odlučivanja je slikovit model koji reprezentira čitavu strukturu
odlučivanja (Sikavica et al.1999:270).
Stablo odlučivanja je nastalo na bazi statističkih metoda raspoznavanja uzoraka. Najširu
primjenu ima za rješavanje prediktivnih problema uz nadzor učenja. Prediktivni
problemi uključuju predviđanje vrijednosti ciljne značajke (atributa, varijable) u
budućnosti, prepoznavanje uzoraka, regresiju više značajki, razlikovnu analizu,
procjenu funkcije više značajki i nadgledano učenje. Za predviđanje vrijednosti ciljne
značajke koristi se skup ulaznih značajki. Prediktivnim modelom se mapiraju ulazne
značajke na ciljnu. Stabla odlučivanja dijele se po raznim kriterijima. Tako je jedan od
kriterija vrsta ciljne značajke prema kojemu se stabla dijele na regresijska stabla više
značajki, ukoliko je ciljna varijabla realan broj, te stabla za razvrstavanje, ukoliko je
ciljna značajka diskretan skup vrijednosti (nivoa) (Skladištenje.com 2002).
Stablo odlučivanja jest klasifikacijski algoritam u formi stablaste strukture, u kojoj se
razlikuju dva tipa čvorova povezanih granama:
· krajnji čvor ("leaf node") - kojim završava određena grana stabla. Krajnji
čvorovi definiraju klasu kojoj pripadaju primjeri koji zadovoljavaju uvjete na toj
grani stabla;
· čvor odluke ("decision node") - ovaj čvor definira određeni uvjet u obliku
vrijednosti određenog atributa (varijable), iz kojeg izlaze grane koje
zadovoljavaju određene vrijednosti tog atributa (Institut Rudjer Bošković 2001).
U nastavku je dana slika koja prikazuje izgled stabla odlučivanja.
24
Slika 8. Izgled stabla odlučivanja
Izvor: Daraboš 2011
Na slici 8. jasno se može vidjeti sam izgled stabla odlučivanja. Stablo odlučivanja
počinje sa temeljnom odlukom, koja se grana na alternativne odluke koje mogu biti
donijete tijekom procesa odlučivanja. Sa slike može se vidjeti kako svaka alternativna
odluka na kraju stabla odlučivanja završava određenim ishodom, odnosno posljedicom
donošenja te odluke.
4.1. Konstrukcija stabla odlučivanja
Drvo odlučivanja započinje točkom odlučivanja (engl. Decision point). Od točke
odlučivanja crtamo grane koje pokazuju svaku od alternativnih odluka koje mogu biti
donijete. Notacija za vjerojatnost događaja je krug. Od te točke događa se više grananja,
ali je to izvan kontrole donositelja odluke. Svakoj toj grani pridružena je odgovarajuća
vjerojatnost. Stoga je drvo odlučivanja korisno za donošenje odluka u uvjetima rizika.
Ono koristi kriterij očekivane vrijednosti. Svaka grana na kraju drveta predstavlja neki
mogući ishod koji rezultira iz donijete odluke. Množeći svaki profit s pripadajućom
vjerojatnošću i sumirajući tako dobivene vrijednosti za pojedinu alternativu, dobivano
očekivane vrijednosti pojedinih alternativa (Sikavica et al.1997:270,271).
25
Konstrukcija stabla odlučivanja dijeli se na 3 faze:
1. Analiza stabla odlučivanja koja se izvodi s desna na lijevo,
2. Procjena očekivanih vrijednosti za sva moguća rješenja,
3. Izbor najbolje alternative.
4.2. Pretpostavke uporabe stabla odlučivanja
Četiri su bitne pretpostavke uporabe modela stabla odlučivanja:
1. Donositelj odluke ima na raspolaganju većinu relevantnih inačica odluke,
2. Moguće posljedice (ishodi) inačica odluke mogu se na neki način kvantificirati,
3. Pri izboru se razmatraju samo ona obilježja inačica odluka koja se mogu
kvantificirati,
4. Stablo odlučivanja može se analizirati ako postoje subjektivne vrijednosti
nastupanja nesigurnih događaja (Tipurić 2013).
4.2.1. Prednosti i nedostaci uporabe modela stabla odlučivanja
Prednost stabla odlučivanja pred drugim modelima očituje se u jednostavnosti i
razumljivosti. Postoje pravila prema kojima se konstruira samo stablo odlučivanja koje
na posljetku daje jednostavno i razumljivo rješenje. Osim toga, model stabla
odlučivanja pogodan je kod analize složenijih i dinamičnih situacija odlučivanja te se
njegova korisnost očituje kad postoji mogućnost da se slijed donošenja odluke podijeli u
niz manjih situacija izbora alternativa koje se tijekom određenog vremenskog razdoblja
oslanjaju jedna na drugu. Prednost koju drvo odlučivanja ima prema matrici odlučivanja
jest u činjenici što ljudi često nalaze da je slikovit model lakši za rad od tabele brojeva.
Još je važnija prednost vezana za stablo odlučivanja u tome što je stablo odlučivanja
lakše primjenjivo kod analiza i donošenja sekvenci (niza) odluka (Sikavica et
al.1999:270).
Osim navedenih prednosti, model stabla odlučivanja ima i nekoliko nedostataka. Jedan
od nedostataka metode stabla odlučivanja je njezina nestabilnost, tj. mala promjena
ulaznih podataka pomoću kojih se trenira model, može rezultirati velikim promjenama
26
topologije stabla. Istovremeno performanse stabla će najvjerojatnije ostati približno iste
(Skladištenje.com 2002). Nestabilnost je najčešće razlog određivanja velikog broja
alternativa, tj. mogućih rješenja koje nerijetko imaju približno jednaku vrijednost. Time
se javlja situacija da ukoliko nastane i mala promjena u podacima, utjecat će se i na
promjene u ostalim granama koje se nalaze ispod nastale promjene.
4.2.2. Mjerenje kvalitete korištenja modela stabla odlučivanja
Kvalitetu modela je najbolje mjeriti na neviđenim podacima upotrebom npr. odvojene
tablice s podacima za provjeru (validacijska tablica) ili upotrebom zahtjevnije kros-
validacijske metode. Logičan kriterij prema kojem će se ocjenjivati kvaliteta stabla je
njegova točnost. Točnost stabla je moguće definirati na više načina (Skladištenje.com
2002).
Jedna od tehnika mjerenja točnosti modela stabla odlučivanja također je i mjerenje
postotka točno razvrstanih uzoraka.
27
5. REZULTATI ISTRAŽIVANJA
U ovom diplomskom radu provedeno je treniranje i testiranje više arhitektura
neuronskih mreža koje su dobivene uslijed promjene topologije mreže, odnosno
promjene broja skrivenih neurona. Također, topologija mreže mijenjala se uslijed
promjena prijenosnih funkcija te pravila učenja. Za mjerenje uspješnosti modela
korištena je prosječna stopa klasifikacije (engl. Missclasification rate) koja je dobivena
za svaku klasu u uzorku za treniranje i testiranje. Kod uporabe metode stabla
odlučivanja za testiranje je korišten algoritam CART te su dobiveni rezultati uspoređeni
s rezultatima korištenja metode neuronskih mreža.
5.1. Rezultati uporabe metode neuronskih mreža
Prije samog kreiranja neuronskih mreža potrebno je bilo pripremiti podatke u Excel
alatu za obradu podataka, i to na način da svaki stupac u tablici prikazuje po jednu
varijablu, dok svaki stupac daje prikaz jedne jedinice obrade, a o ovom slučaju
odgovore jednog ispitanika na sva pitanja anketnog upitnika. U stupce se najprije
navode sve ulazne varijable, dok se u posljednji stupac navodi izlazna varijabla.
U nastavku se nalazi tablica koja prikazuje ulazne varijable modela te njihovu
deskriptivnu statistiku.
Tablica 1. Ulazne varijable modela i njihova deskriptivna statistika
Naziv varijable i
oznake
Vrsta varijable Opis varijable Kodiranje i
frekvencija
Spol (SPOL) Ulazna, binarna Spol studenata (m/ž)
1- Muški (34,10%)
2- Ženski (65,90%)
Stipendija (STIP) Ulazna,
kontinuirana Primate li stipendiju?
1 – Da, redovito
primam stipendiju
(25,43%)
2 – Da, ali samo
povremeno (4,62%)
3 – Ne, ne primam
stipendiju (69,95%)
Vrijeme (VR) Ulazna,
kontinuirana
Koliko prosječno na dan posvećujete vrijeme učenju?
1 – Do jedan sat
(31,21%)
2 – Dva do tri sata
(31,79%)
28
3 – Tri do pet sati
(10,40%)
4 – Više od pet sati (4,05%)
5 – Ne mogu
procijeniti (22,55%)
Poticajnost
(POTIC)
Ulazna,
kontinuirana
Potican/a sam na aktivno
sudjelovanje na nastavi,
samostalnost u radu i kritičko mišljenje!
1 – U potpunosti se
ne slažem (7,51%)
2 – Ne slažem se (15,61%)
3 – Niti se slažem niti se ne slažem (45,66%)
4 – Slažem se (21,96%)
5 – U potpunosti se
slažem (9,26%)
Materijali (MAT) Ulazna,
kontinuirana
Iz kojih materijala najčešće učite i pripremate kolokvije/ispite?
1 – Knjiga koju
preporuči profesor (10,89%)
2 – Skripta koju
dobijem od drugih
studenata (41,40%)
3 – Bilješke koje vodim tijekom
predavanja
/seminara (8,09%)
4 – Sve navedeno
(34,10%)
5 – Ništa navedeno (0,00%)
6 – Ne znam
(5,52%)
Prisustvo
predavanja (PP)
Ulazna,
kontinuirana
Koliko ste često prisutni na predavanjima?
1 – Do 25%
(10,89%)
2 – Od 26 – 50%
(10,98%)
3 – Od 51 – 75%
(20,24%)
4 – Od 76 – 100%
(57,80%)
29
Pripremljenost
profesora (PRIP)
Ulazna,
kontinuirana
Profesori na predavanja
dolaze pripremljeni za
izlaganje gradiva!
1 – U potpunosti se
ne slažem (2,31%)
2 – Ne slažem se (2,89%)
3 – Niti se slažem niti se ne slažem (32,95%)
4 – Slažem se (41,62%)
5 – U potpunosti se
slažem (20,23%)
Prisustvo seminari
(PS)
Ulazna,
kontinuirana
Koliko često prisustvujete na seminarima/vježbama?
1 – Do 25%
(8,67%)
2 – Od 26 – 50%
(5,78%)
3 – Od 51 – 75%
(19,65%)
4 – Od 76 – 100%
(65,90%)
Dostupnost
profesora
(DOSTUP)
Ulazna,
kontinuirana
Profesori i asistenti redovito
su dostupni za komunikaciju
te pružaju korisne povratne informacije o Vašem radu!
1 – U potpunosti se
ne slažem (1,73%)
2 – Ne slažem se (10,49%)
3 – Niti se slažem niti se ne slažem (30,06%)
4 – Slažem se (39,31%)
5 – U potpunosti se
slažem (18,41%)
Važnost ocjene (OCJ)
Ulazna,
kontinuirana
Ocjena koju dobijete za
položeni završni ispit vrlo Vam je važna!
1 – U potpunosti se
ne slažem (8,09%)
2 – Ne slažem se (17,34%)
3 – Niti se slažem niti se ne slažem (27,75%)
30
4 – Slažem se (22,54%)
5 – U potpunosti se
slažem (24,28%)
Šalabahteri (SALAB)
Ulazna,
kontinuirana
Smatrate i da su šalabahteri dijelom zaslužni za Vaš
uspjeh na ispitima?
1 – U potpunosti se
ne slažem (52,02%)
2 – Ne slažem se (22,54%)
3 – Niti se slažem niti se ne slažem (13,29%)
4 – Slažem se (5,20%)
5 – U potpunosti se
slažem (6,95%)
Redovno
ocjenjivanje
(REDOV)
Ulazna,
kontinuirana
Smatrate li da je Vaš rad tijekom studiranja redovito
ocjenjivan u skladu s Vašim zalaganjem?
1 – U potpunosti se
ne slažem (6,94%)
2 – Ne slažem se (15,03%)
3 – Niti se slažem niti se ne slažem (33,53%)
4 – Slažem se (35,26%)
5 – U potpunosti se
slažem (9,24%)
Prosjek (PRO) Izlazna, binarna
Vaš prosjek na kraju prethodne akademske godine
bio je?
1 – Manji ili jednak
3 (49,13%)
2 – Veći od 3 (50,87%)
Izvor: Izrada studentice prema rezultatima anketiranja studenata fakulteta Sveučilišta i
Veleučilišta u Rijeci
Model se sastoji od 13 varijabli od kojih njih 12 su ulazne (binarna i kontinuirane)
varijable, te 1 izlazna (binarna) varijabla. Jedina ulazna binarna varijabla je spol
studenata te poprima brojčani oblik i to brojeve 1 ili 2. Ostale ulazne varijable
31
poprimaju oblike u rasponu od 1 – 6 (cjelobrojne) ovisno o broju ponuđenih odgovora u
anketnom upitniku. Izlaznu varijablu predstavlja prosjek ocjena na kraju akademske
godine te se dijeli na dvije kategorije i poprima oblike 0 i 1 i to na način: 0 – prosjek
manji ili jednak 3 i 1 – prosjek veći od 3. Takvom formulacijom problem se svrstava u
problem klasifikacije čiji je cilj modela klasificirati studente na „bolje“ i „lošije“,
odnosno one s prosjekom nižim ili jednakim 3 te višim od 3.
Kao programski alat korištena je Statistica 12.0 te je potrebno bilo učitati podatke iz
alata Excel. Nakon importiranja podataka u Statisticu, pokreće se alat za neuronske
mreže i odabire Automated Neural Networks, izabire New Analysis i tip problema
Classification.
Ukupni uzorak podataka potrebno je podijeliti na tri dijela:
1. Poduzorak za treniranje
2. Poduzorak za unakrsnu validaciju
3. Poduzorak za testiranje.
To se čini na način da se u kartici Sampling izabire slučajna podjela uzorka (engl.
Random sampling) na poduzorke za treniranje (70%), poduzorke za unakrsnu validaciju
(20%) i poduzorka a testiranje (10%). Time se dobiva struktura ukupnog uzorka i
poduzoraka koja je prikazana u sljedećoj tablici.
Tablica 2. Struktura ukupnog uzorka i poduzoraka
Izvor: Izrada studentice prema rezultatima anketiranja studenata fakulteta Sveučilišta i
Veleučilišta u Rijeci
0 - studenti s nižim prosjekom
1 - studenti s višim prosjekom
Ukupno
Treniranje 60 (50,00%) 60 (50,00%) 120 (100%)
Unakrsna
validacija 9 (50,00%) 9 (50,00%) 18 (100%)
Testiranje 20 (58,83%) 14 (41,17%) 34 (100%)
Ukupno 89 (51,74%) 83 (48,26%) 172 (100%)
32
Iz tablice može se vidjeti da je jednaka raspodjela u obje kategorije (0 – studenti s nižim
prosjekom i 1 – studenti s višim prosjekom) u poduzorcima za treniranje i unakrsnu
validaciju i to na način na koji neuronske mreže zahtijevaju. Svi ostali ispitanici, njih
34, svrstani su u poduzorak za testiranje za konačno testiranje modela. Izbor ispitanika
bio je slučajan, ali pod uvjetom zadržavanja temeljnog kriterija jednake raspodjele
uzoraka u poduzorke za treniranje i unakrsnu validaciju.
Nakon raspodjele podataka izabire se algoritam neuronskih mreža, u ovom slučaju MLP
(Multilayer perceptron) i RB (Radial basis) te broj skrivenih neurona: minimalno 1,
maksimalno 10. Osim toga, bitno je odabrati za aktivacijske (prijenosne) funkcije za
skriveni (hidden) sloj Logističku, Tangens i Hiperbolnu funkciju, a za izlani (output)
sloj Identity funkciju. Nakon toga izbora, model se trenira te se dobiju rezultati za
najbolju i najlošiju testiranu mrežu što je prikazano u sljedećoj tablici.
Tablica 3. Rezultati metode neuronskih mreža na uzorku za testiranje
Izvor: Izrada studentice prema rezultatima anketiranja studenata fakulteta Sveučilišta i
Veleučilišta u Rijeci
U danoj tablici dan je uvid u najbolju i najlošiju testiranu mrežnu arhitekturu. Najbolja
prosječna stopa klasifikacije na poduzorku za testiranje postignuta je mrežom pod
rednim brojem 1 te iznosi 66%. U toj neuronskoj mreži korištena su 8 skrivena neurona
koji daju najmanju grešku u fazi unakrsne validacije, dok je prijenosna funkcija bila
Tahn (tangens), a mreža je učila na 1000 epoha. Rezultat najbolje neuronske mreže ima
značenje da je u poduzorku za testiranje 66% slučajeva bilo ispravno klasificirano, dok
Rb Metoda
Broj
skrivenih
neurona
Prijenosna
funkcija
Stopa
klasifikacije
za klasu 0
(%)
Stopa
klasifikacije
za klasu 1
(%)
Prosječna stopa
klasifikacije
(%)
1
MLP
neuronska
mreža
2 - 13 (8) Tahn 60% 72% 66%
2
MLP
neuronska
mreža
2 - 13 (9) Logistic 62% 66% 64%
3
RBFN
neuronska
mreža
2 - 13 (25) Gaussian 72% 52% 62%
33
je 34% slučajeva bilo pogrešno klasificirano, odnosno stavljeno u pogrešnu klasu. Stope
klasifikacije za pojedinačnu klasu u najboljoj neuronskoj mreži pokazuju da je 60%
slučajeva ispravno klasificirano za klasu 0 koja označava studente s nižim ili jednakim
prosjekom od 3, dok je 72% slučajeva ispravno klasificirano za klasu 1 koja označava
studente s prosjekom većim od 3. To je ujedno i pokazatelj da studenti s „boljim“
prosjekom, većim od 3, imaju zajedničke karakteristike koje model neuronskih mreža
mogu lakše prepoznati i povezati za razliku od značajki koje imaju studenti s „lošijim“
prosjekom, nižim ili jednakim 3. Najlošija neuronska mreža je RBFN neuronske mreža
sa brojem skrivenih neurona 25 te prijenosnom (aktivacijskom) funkcijom Gaussian.
Prosječna stopa klasifikacije za tu mrežu je 62%, što znači da je 62% slučajeva u
poduzorku za testiranje bilo ispravno klasificirano, dok je 38% slučajeva netočno
klasificirano. Kod ove neuronske mreže, pojedinačna stopa klasifikacije za klasu 0
iznosi 72%, a za klasu 1 iznosi 52%, što znači da studenti svrstani u klasu 0 imaju
značajke koje neuronska mreža može lakše prepoznati i povezati nego kod studenata
koji se nalaze u klasi 1.
5.2. Rezultati metode stabla odlučivanja
Druga metoda za predviđanje uspješnosti studiranja koja je korištena u ovom
diplomskom radu je metoda stabla odlučivanja, i to algoritam CART stabla odlučivanja.
U nastavku je dana tablica u kojoj su prikazani rezultati metode stabla odlučivanja na
uzorku za testiranje.
Tablica 4. Rezultati metode stabla odlučivanja na uzorku za testiranje
Algoritam
stabla
odlučivanja
Goodness
od fit
Stopa
klasifikacije za
klasu 0 (%)
Stopa
klasifikacije za
klasu 0 (%)
Prosječna stopa
klasifikacije
(%)
CART Gini 100,00 76,92 88,42
Izvor: Izrada studentice prema rezultatima anketiranja studenata fakulteta Sveučilišta i
Veleučilišta u Rijeci
U danoj tablici vidljivo je da je stopa klasifikacije za klasu 0, odnosno za studente sa
„nižim“ prosjekom 100%, što znači da je metoda stabla odlučivanja ispravno prepoznala
sve studente s prosjekom nižim ili jednakim 3 u uzorku za testiranje te ih svrstala u
34
klasu 0. Niža stopa klasifikacije je za klasu 1, odnosno za studente s „višim“ prosjekom
od 3 te iznosi 76,92%, što znači da je model stabla odlučivanja ispravno klasificiralo
76,92% slučajeva, dok je 23,08% slučajeva netočno klasificirano. Prosječna stopa
klasifikacije metode stabla odlučivanja iznosi 88,36%. To znači da je 88,36% slučajeva
ispravno klasificirano u poduzorku za testiranje, dok je 11,64% slučajeva netočno
klasificirano.
Rezultat klasifikacije studenata može se prikazati u matrici konfuzije koja daje prikaz
stvarnog broj studenata prema klasama kojima pripadaju. Stupci daju prikaz stvarnog
broja studenata koji pripadaju klasama 0 i 1, dok redci daju prikaz broja studenata koje
je model sam svrstao u pojedinu klasu 0 ili 1. U nastavku je dana tablica koja to
prikazuje.
Tablica 5. Matrica konfuzije najboljeg modela stabla odlučivanja
Predviđena kategorija
Stvarna kategorija
studenata Ukupno
0 1
0 8 6 14
1 0 20 20
Ukupno 8 26 34
Izvor: Izrada studentice prema rezultatima anketiranja studenata fakulteta Sveučilišta i
Veleučilišta u Rijeci
U tablici je dan prikaz matrice konfuzije s poduzorkom za testiranje, što obuhvaća 34
studenta. Jasno je prikazano da je model stabla odlučivanja uspio ispravno klasificirati
sve studente u klasu 0, odnosno u studente s prosjekom nižim ili jednakim 3 u ukupnom
uzorku za testiranje. Međutim, model stabla odlučivanja u klasu 1, odnosno u studente s
višim prosjekom od 3 ispravno je svrstao 20 studenata, dok je pogrešno svrstao 6
studenata u navedenu klasu. Ukupan broj ispravno klasificiranih studenata može se
vidjeti u dijagonali matrice (tablice) te iznosi 28 studenata, dok ih je 6 netočno
klasificirano. Ukupno je 34 studenta koji su testirani za konačno testiranje modela.
35
5.3. Usporedba rezultata modela neuronskih mreža i stabla odlučivanja
Nakon izrade modela neuronske mreže i modela stabla odlučivanja u programskom
alatu Statistica 12.0, možemo doći do određenih zaključaka. Oba korištena modela daju
vrlo dobre rezultate, a to se može iščitati iz dobivenih prosječnih stopa klasifikacije iz
oba modela. Prosječna stopa klasifikacije za najbolju neuronsku mrežu vidi se u tablici
3. te iznosi 66%, dok se prosječna stopa klasifikacije za najbolji model stabla
odlučivanja nalazi u tablici 5. te iznosi 88,36%. Prema tim rezultatima možemo ustvrditi
da je prosječna stopa klasifikacije koju daje stablo odlučivanja te iznosi 88,36% veća od
prosječne stope klasifikacije koju daju neuronske mreže za 22,36%.
Isto to, može se ustvrditi i matrica konfuzije za oba modela koje se nalaze u nastavku.
Izvor: Izrada studentice prema rezultatima anketiranja studenata fakulteta Sveučilišta i
Veleučilišta u Rijeci
Iz matrica konfuzije za oba modela, može se vidjeti da oba modela daju vrlo dobre
rezultate kod klasifikacije studenata. Shodno s time može se zaključiti da su model
neuronske mreže i model stabla odlučivanja uspješni kod predviđanja uspješnosti
studiranja.
Model najbolje neuronske mreže prepoznao je 60% studenata koji pripadaju u klasu 0,
odnosno u klasu studenata s prosjekom nižim ili jednakim od 3, dok je bolje prepoznao
studente koji pripadaju u klasu 1, odnosno u klasu studenata s prosjekom višim od 3, i
to 72%. Model najboljeg stabla odlučivanja uspio je prepoznati sve studente koji
Klasa Stopa
točnosti
0 60%
1 72%
Prosječna stopa
klasifikacije
66%
Klasa Stopa
točnosti
0 100%
1 76,92%
Prosječna stopa
klasifikacije
88,42%
Tablica 6. Matrica konfuzije
neuronske mreže
Tablica 7. Matrica konfuzije
stabla odlučivanja
36
pripadaju klasi 0, odnosno klasi studenata s prosjekom nižim ili jednakim 3, dok je
stopa klasifikacije za klasu 1 bila 76,92% što je također vrlo dobar rezultat. Gledajući
sveukupne prosječne stope klasifikacije za oba modela, model stabla odlučivanja
pokazuje bolje rezultate kod klasifikacije studenata u klase 0 i 1, te ona iznosi 88,42%,
dok se manje uspješan model neuronskih mreža gdje prosječna stopa klasifikacije iznosi
66%.
Uzevši to u obzir, može se zaključiti da je model stabla odlučivanja točniji od modela
neuronskih mreža kod klasifikacije studenata u klase 0 i 1 na uzorku od 172 studenta
Sveučilišta i Veleučilišta u Rijeci.
37
6. ANALIZA OSJETLJIVOSTI
Nakon testiranja modela neuronskih mreža i modela stabla odlučivanja korisno je
napraviti analizu osjetljivosti ulaznih varijabli na izlaznu varijablu. Upravo ta analiza
daje uvid koje su ulazne varijable najviše utjecale na izlaznu varijablu, odnosno na
točnost klasifikacije navedenih modela. Time se daje detaljan uvid u značajnost
pojedinih varijabli (čimbenika) na uspješnost studenata što je ujedno i cilj ovog
diplomskog rada.
U nastavku se nalazi tablica koja prikazuje osjetljivosti izlazne varijable na ulazne
varijable u modelu najbolje neuronske mreže.
Tablica 8. Osjetljivost izlazne varijable na ulazne varijable u modelu najbolje
neuronske mreže
Izvor: Izrada studentice prema rezultatima anketiranja studenata fakulteta Sveučilišta i
Veleučilišta u Rijeci
Iz tablice možemo vidjeti vrijednosti promjene izlazne varijable ukoliko dođe do
promjene pojedine ulazne varijable za jednu jedinicu. Najveći utjecaj na izlaznu
varijablu (prosjek studenata) ima dostupnost profesora i asistenata (DOSTUP) koji su
otvoreni za pitanja koja muče studente, dok najmanji utjecaj ima varijabla stipendija
studenata (STIP). Isto je prikazano u grafikonu u nastavku.
38
Grafikon 1. Grafički prikaz osjetljivosti izlazne varijable na ulazne varijable u modelu
najbolje neuronske mreže
Izvor: Izrada studentice prema rezultatima anketiranja studenata fakulteta Sveučilišta i
Veleučilišta u Rijeci
Grafikon 1. Daje prikaz osjetljivosti izlazne varijable na ulazne varijable u modelu
najbolje neuronske mreže. Iz grafikona možemo vidjeti da najveći utjecaj ima varijabla
dostupnost profesora i asistenata (DOSTUP), a nakon toga slijede: prisustvo studenata
na seminarima i vježbama (PS), pripremljenost profesora za predavanje gradiva (PRIP),
materijali iz kojih studenti pripremaju ispite i kolokvije (MAT), važnost ocjene za
položeni završni ispit (OCJ), redovno ocjenjivanje studenata (REDOV), vrijeme koje
studenti provedu učeći (VR), poticaj studenata da aktivo sudjeluju u nastavi (POTIC),
prisustvo na predavanjima (PP), šalabahteri (SALAB), spol studenata (SPOL), a
najmanji utjecaj na prosjek studenata ima stipendija (STIP). Analiza osjetljivosti daje
velik značaj varijablama koje označavaju dostupnost profesora i asistenata za studentska
pitanja te pohađanje seminarske nastave kod predviđanja uspješnosti studiranja u
modelima neuronskih mreža.
Kod modela stabla odlučivanja analiza osjetljivosti ulaznih analiza na izlaznu je nešto
drugačija. U nastavku se nalazi tablica koja daje uvid koja varijabla daje najveći značaj
u predviđanju uspješnosti studiranja u modelu stablu odlučivanja, te varijabli čiji je
utjecaj nešto manji.
39
Tablica 9. Značajnost ulaznih varijabli kod stabla odlučivanja
Oznaka
varijable
Rang
varijable
Koeficijent značajnosti varijable
MAT 100 1,000000
DOSTUP 94 0,940175
REDOV 82 0,819968
PS 76 0,758556
PRIP 74 0,744978
POTIC 71 0,708453
PP 70 0,697855
SALAB 64 0,636537
STIP 60 0,604934
OCJ 57 0,566183
SPOL 36 0,359147
VR 18 0,176666
Izvor: Izrada studentice prema rezultatima anketiranja studenata fakulteta Sveučilišta i
Veleučilišta u Rijeci
U danoj tablici možemo vidjeti kako najveći utjecaj na postizanje većeg uspjeha u
studiranju ima varijabla materijala iz kojeg studenti pripremaju gradivo za kolokvije i
ispite (MAT), dok najmanji utjecaj ima vrijeme koje studenti provode pripremajući to
isto gradivo (VR). Isto to prikazano je na grafikonu koji slijedi.
Grafikon 2. Značajnost ulaznih varijabli kod stabla odlučivanja
Izvor: Izrada studentice prema rezultatima anketiranja studenata fakulteta Sveučilišta i
Veleučilišta u Rijeci
40
Iz grafikona možemo zaključiti kako najveći utjecaj za postizanje boljeg prosjeka imaju
materijali iz kojeg studenti spremaju gradivo (MAT), a zatim slijede: dostupnost
profesora i asistenta za komunikaciju sa studentima (DOSTUP), redovito ocjenjivanje
studenata od strane profesora i asistenata (REDOV), pohađanje seminarske nastave
(PS), pripremljenost profesora za izlaganje gradiva (PRIP), poticajnost studenata od
strane profesora i asistenata na aktivnost na nastavi (POTIC), prisutsvo na predavanjima
(PP), šalabahteri (SALAB), stipendija (STIP), redovito ocjenjivanje (OCJ), spol
studenata (SPOL), a najmanji utjecaj ima vrijeme provedeno spremajući gradivo (VR).
Nakon provođenja analiza osjetljivosti ulaznih varijabli na izlaznu kod modela
neuronskih mreža i stabla odlučivanja, može se zaključiti kako je rang varijabli razlikuje
kod oba modela. Međutim, model stabla odlučivanja u klasifikaciji studenata prema
prosjeku, odnosno uspešnosti, dao je bolji rezultat te veću uspješnost, može se zaključiti
da varijable materijali iz kojih studenti pripremaju gradivo za kolokvije i ispite (MAT),
dostupnost profesora i asistenata na komunikaciju sa studentima (DOSTUP) te redovito
ocjenjivanje rada studenata (REDOV) imaju najveći utjecaj kod predviđanja uspješnosti
studiranja na testiranom uzorku. Najmanji utjecaj ima vrijeme provedeno spremajući
gradivo za kolokvije i ispite (VR) što ima smisla, jer ukoliko su materijali jednostavi za
razumijevanje, a profesori dostupni za komunikaciju, te ukoliko redovito ocjenjuju
zalaganje studenata tijekom studiranja, pomažu studentima da olakšaju svoje studiranje
te postignu bolji uspjeh.
41
7. ZAKLJUČAK
Diplomski rad bavi se kreiranjem modela neuronskih mreža i stabla odlučivanja za
predviđanje uspješnosti studiranja, a osim toga i analizom varijabli koje imaju značajan
utjecaj na postizanje većeg uspjeha u studiranju. Cilj rada bio je klasificirati studente u
dvije klase obzirom da li su uspješni ili manje uspješni u studiranju na temelju prosjeka
ocjena u prethodnoj akademskoj godini 2012./2013. Većina ispitanika pohađalo je
fakultete Sveučilišta u Rijeci, dok su nekolicina njih studenti Veleučilišta u Rijeci.
Podaci potrebni za analizu prikupljali su se putem anketnog upitnika, a analiza se vršila
pomoću programskog alata Statistica 12.0.
Nakon provedene analize, model stabla odlučivanja dao je daleko bolje rezultate kada se
radi o studentima koji pripadaju klasi 0, odnosno skupini studenata s prosjekom nižim
ili jednakim 3. Međutim, model stabla odlučivanja dao je bolje rezultate i kada se radi o
klasifikaciji studenata u klasu 1, koji postižu bolje rezultate u studiranju, gdje je
prepoznao 76,92% studenata, dok je model najbolje neuronske mreže prepoznao nešto
manje, 72% studenata s većim uspjehom u studiranju.
Prosječna stopa točnosti klasifikacije najboljeg modela neuronske mreže iznosi 66%,
dok za najbolji model stabla odlučivanja prosječna stopa klasifikacije iznosi 88,42%. Iz
toga se može zaključiti da je model stabla odlučivanja pokazao znatno veću točnost
klasifikacije studenata od modela neuronskih mreža, čime ukazuje da je upravo model
stabla odlučivanja primjenjiviji za rješavanje problema klasifikacije za predviđanje
uspješnosti studiranja.
Analizom varijabli koje u konačnici utječu na uspješnost studiranja došlo se do rezultate
da su najvažniji čimbenici većeg uspjeha materijali iz kojih studenti pripremaju gradivo
za kolokvije i ispite, dostupnost profesora i asistenata za upite i nejasnoće od strane
studenata, prisustvo na seminarskoj nastavi i vježbama te redovito ocjenjivanja rada i
aktivnosti studenata tijekom akademske godine.
Naposljetku, bitno je napomenuti da je moguće postizanje veće stope točnosti
klasifikacije, a shodno s time i točnosti predviđanja, ukoliko bi se poboljšalo samo
istraživanje i to uvođenjem većeg broja varijabli koje imaju utjecaj na uspješnije
studiranje, uvođenje većeg broja fakulteta uključujući i ostala Sveučilišta i Veleučilišta
u Republici Hrvatskoj, a dakako i povećanjem broja ispitanika. Moguće je korištenje
42
modela neuronskih mreža i stabla odlučivanja odvojeno za studente fakulteta
Sveučilišta, a odvojeno za studente Veleučilišta u Rijeci. Na taj bi se način,
uspoređujući dobivene rezultate dala usporedba koje varijable imaju veći utjecaj na
postizanje boljeg uspjeha u studiranju kod studenata fakulteta Sveučilišta u Rijeci te s
druge strane studenata Veleučilišta u Rijeci.
43
LITERATURA
1. Andrejević, M., 2004., Neuronske mreže u modelovanju, Zadružbina Andrejević,
Biblioteka Academia, Beograd
2. Brain Campaign, Živčani sustav, Pregledano 25.02.2014., <htt-
p://www.braincampaign.org/common/docs/files/2768/crchap1.pdf>
3. Dalbelo Bašić, B., Čupić, M. i Šnajder, J.,2008, Umjetne neuronske mreže,
Fakultet elektronike i računarstva, Sveučilište u Zagrebu, Pregledano
26.02.2014.,
<https://www.fer.hr/_download/repository/UmjetneNeuronskeMreze.pdf>
4. Daraboš, M., 2011, Stablo odlučivanja, sveučilište u Zagrebu, Ekonomski
fakultet u Zagrebu, Zagreb, Pregledano 24.03.2014.,
<http://web.efzg.hr/dok/OIM/mdarabos/4-Stablo%20odlu%C4%8Divanja.pdf>
5. Domijan, P., 2004, Umjetni neuronski sustav odlučivanja o kupovini sirove
nafte, Fakultet elektronike i računarstva, Sveučilište u Zagrebu
6. Dragičević, M., 2006, Neuronske mreže i analitički hijerarhijski proces u
segmentaciji turističkog tržišta, vol. 15, No. 1, pp. 81 – 98, Pregledano
23.03.2014., <http://hrcak.srce.hr/11474?lang=en>
7. Edukacijski Repozitorij za Inteligentne sustave 2003, Pregledano 19.03.2014.,
<http://eris.foi.hr/11neuronske/nn-predavanje1.html>
8. Edukacijski Repozitorij za Inteligentne Sustave 2003, Pregledano 20.03. 2014.,
<http://eris.foi.hr/11neuronske/nn-predavanje4.html>
9. Filetin, T. i Galinec, J., 1997, Mogućnosti primjene neuronskih mreža u
ispitivanju materijala, Zavod za materijale, Fakultet strojarstva i brodogradnje
Sveučilišta u Zagrebu, Pregledano 27.03.2014.,
<http://titan.fsb.hr/~tfiletin/pdf/neuro_matest97.pdf>
10. Institut Rudjer Bošković, 2001, Stabla odlučivanja, Pregledano 23.03.2014.,
<http://dms.irb.hr/tutorial/hr_tut_dtrees.php>
11. Lojanica, V., 2001, Nedostaci i ograničenja neuronskih mreža, Pregledano
20.03.2014., <http://www.loya.5u.com/strane/28.html>
44
12. Lukić, I., 2011., Neuronska mreža i stablo odlučivanja za klasifikaciju kupaca
prema kupnji ručnika, Ekonomski fakultet u Osijeku, Sveučilište Josipa Jurja
Strossmayera u Osijeku
13. Mačkić, K., 2009, Primjena neuronskih mreža u fizici i informatici, Prirodoslovno – matematički fakultet, Sveučilište u Zagrebu, Pregledano
27.03.2014.,
<http://www.phy.pmf.unizg.hr/~planinic/diplomski/Kenan_Mackic.pdf>
14. Malvić, T. i Cvetković, M., 2009, Neuronski alati u geologiji ležišta ugljikovodika, Pregledano 14.03.2014, Hrvatsko geološko društvo, Zagreb, <http://www.geologija.hr/pdf/geomat/knjiga_neuronske_mreze.pdf>
15. Mandić, D., 2012, Neuronske mreže i stabla odlučivanja za predviđanje uspješnosti studiranja, Pregledano 25.02.2014.,
<http://www.academia.edu/4398198/NURONSKE_MREZE_I_STABLA_ODL
UCIVANJA>
16. Milenković, S., 1997, Veštačke neuronske mreže, Zadružbina Andrejević, Biblioteka Dissertatio, Beograd
17. Novaković, B., Majetić, D. i Široki, M., 1998., Umjetne neuronske mreže,
Sveučilište u Zagrebu, Fakultet strojarstva i brodogradnje, Zagreb
18. Pavleković, M., Zekić – Sušac, M. i Đurđević, I., 2011, Model neuronskih mreža
za predviđanje matematičke darovitosti u djece, Hrvatski časopis za odgoj i
obrazovanje, vol.13, No. 1, pp. 10 – 41, Pregledano 24.04. 2014.,
<http://hrcak.srce.hr/index.php?show=clanak&id_clanak_jezik=113044>
19. Planinić, D., 2010, Poznavanje pokreta mišem korištenjem neuronskih mreža,
Sveučilište u Zagrebu, Fakultet elektronike i računarstva, Zagreb, Pregledano
14.03.2014., <http://161.53.18.95/zprweb/radovi/Dragan_Planinic.pdf>
20. Sikavica, P., Bebek, B., Skoko, H. i Tipurić, D.,1999, Poslovno odlučivanje,
Redakcija: prof. dr. sc. Pere Sikavica, Informator, Zagreb
21. Skladištenje.com, 2002, Stabla odlučivanja, Pregledano 23.03.2014.
<http://www.skladistenje.com/stabla-odlucivanja/>
22. Sobota Šalomon, B., Božanić, R. i Dobša, J., 2012, Analiza varijabli koje utječu
na mikrobiološku kvalitetu u proizvodnji svježeg sira, Pregledano 27.03.2014.,
<http://hrcak.srce.hr/index.php?show=clanak&id_clanak_jezik=93747>
45
23. Tadić, M., 2010, Neuronske mreže za predviđanje smjera kretanja dionica na
tržištima vrijednosnica, Pregledano 14.03.2014., Sveučilište Josipa Jurja
Strossmayera u Osijeku, Ekonomski fakultet u Osijeku, Osijek,
<http://informatika.efos.hr/wp-content/uploads/2011/07/Diplomski-rad-
%E2%80%93-Tadic-Marina-Neuronske-mreze-za-predvidanje-smjera-kretanja-
dionica-na-trzistima-vrijednosnica.pdf>
24. Tipurić, D., 2013, Stablo odlučivanja, Sveučilište u Zagrebu, Ekonomski
fakultet u Zagrebu, Zagreb, Pregledano 24.03.2014.,
<http://web.efzg.hr/dok/OIM/dtipuric/7-Stablo%20odlu%C4%8Divanja-
2013.pdf>
25. Wikipedija 2013, Pregledano 25.02.2014,
<http://hr.wikipedia.org/wiki/Neuronska_mre%C5%BEa>
26. Zekić – Sušac, M., 4. Neuronske mreže, Pregledano 18.03.2014.,
<https://loomen.carnet.hr/pluginfile.php/56586/mod_resource/content/0/P4_Neu
ronske.pdf>
27. Zekić – Sušac, M., Frajman – Jakšić, A. i Drvenkar, N., 2009, Neuronske mreže i stabla odlučivanja za predviđanje uspješnosti studiranja, Pregledano
25.02.2014, <http://hrcak.srce.hr/47931>
46
POPIS SLIKA, TABLICA I GRAFIKONA
Popis slika
Slika 1: Izgled neuronske mreže ................................................................................................... 7
Slika 2.: Biološki (prirodni) neuron .............................................................................................. 8
Slika 3.: Umjetni neuron ............................................................................................................. 10
Slika 4.: Građa neuronske mreže ................................................................................................. 14
Slika 5.: Shema organizacije neuronske mreže preko slojeva ..................................................... 15
Slika 6. Višeslojni perceptron ..................................................................................................... 20
Slika 7. Dijagram zavisnosti moći predviđanja i objašnjavanja modela neuronskih mreža i
modela stabla odlučivanja ........................................................................................................... 22
Slika 8. Izgled stabla odlučivanja ................................................................................................ 24
Popis tablica
Tablica 1. Ulazne varijable modela i njihova deskriptivna statistika .......................................... 27
Tablica 2. Struktura ukupnog uzorka i poduzoraka .................................................................... 31
Tablica 3. Rezultati metode neuronskih mreža na uzorku za testiranje ...................................... 32
Tablica 4. Rezultati metode stabla odlučivanja na uzorku za testiranje ...................................... 33
Tablica 5. Matrica konfuzije najboljeg modela stabla odlučivanja ............................................. 34
Tablica 7. Matrica konfuzije stabla odlučivanja ......................................................................... 35
Tablica 6. Matrica konfuzije neuronske mreže ........................................................................... 35
Tablica 8. Osjetljivost izlazne varijable na ulazne varijable u modelu najbolje neuronske mreže ..................................................................................................................................................... 37
Tablica 9. Značajnost ulaznih varijabli kod stabla odlučivanja .................................................. 39
Popis grafikona
Grafikon 1. Grafički prikaz osjetljivosti izlazne varijable na ulazne varijable u modelu najbolje
neuronske mreže .......................................................................................................................... 38
Grafikon 2. Značajnost ulaznih varijabli kod stabla odlučivanja ................................................ 39
47
PRILOZI
Prilog 1. ANKETNI UPITNIK
Poštovani, studentica sam druge godine diplomskog studija Ekonomskog fakulteta u Rijeci. Cilj ankete je istražiti koje varijable imaju značajan utjecaj na uspješnost studenata. Molim Vas da izdvojite nekoliko minuta i ispunite ovu kratku anketu. Anketa
je anonimna te će se dobiveni rezultati koristiti isključivo u svrhu izrade diplomskog rada. Molim Vas da označite/zaokružite samo jedan odgovor koji smatrate
odgovarajućim. Unaprijed se zahvaljujem!
1. Spol:
a) Muško
b) Žensko
2. Primate li stipendiju?
a) Da, redovito primam
stipendiju
b) Da, ali samo povremeno
c) Ne, ne primam stipendiju
3. Koliko vremena prosječno na dan posvećujete vrijeme učenju?
a) Do jedan sat
b) Dva do tri sata
c) Tri do pet sati
d) Više od pet sati e) Ne mogu procijeniti
4. Potican/a sam na aktivno
sudjelovanje na nastavi
(sudjelovanje u raspravama,
postavljanje pitanja,
odgovaranje na pitanja),
samostalnost u radu i kritičko mišljenje!
( 1 – u potpunosti se ne
slažem, 5 – u potpunosti se slažem)
1 2 3 4 5
5. Iz kojih materijala najčešće učite i pripremate kolokvije/ispite?
a) Knjiga koju preporuči profesor
b) Skripta koju dobijem od
drugih studenata
c) Iz bilješki koje vodim
tijekom predavanja
d) Sve navedeno
e) Ništa od navedenog
f) Ne znam
6. Koliko ste često prisutni na predavanjima?
a) Do 25%
b) Od 26 do 50%
c) Od 51 do 75%
d) Od 76 do 100%
7. Smatrate li da su profesori u
potpunosti pripremljeni za
izlaganje gradiva na
predavanjima?
( 1 – u potpunosti se ne slažem, 5 – u potpunosti se slažem)
1 2 3 4 5
48
8. Koliko često prisustvujete na seminarima/ vježbama?
a) Do 25%
b) Od 26 d 50%
c) Od 51 do 75%
d) Od 76 do 100%
9. Profesori i asistenti redovito su
dostupni za komunikaciju te
pružaju korisne povratne informacije o Vašem radu tijekom studiranja!
( 1 – u potpunosti se ne slažem, 5 – u potpunosti se slažem)
1 2 3 4 5
10. Ocjena koju dobijete nakon
položenog završnog ispita vrlo Vam je važna!
( 1 – u potpunosti se ne slažem, 5 – u potpunosti se slažem)
1 2 3 4 5
11. Smatrate li da su šalabahteri dijelom zaslužni za Vaš uspjeh na ispitima?
( 1 – u potpunosti se ne slažem, 5 – u potpunosti se slažem)
1 2 3 4 5
12. Smatrate da je Vaš rad tijekom studiranja redovito
ocjenjivan u skladu s Vašim zalaganjem
(kolokviji/projekti/zadaci/vježbe/seminari)?
( 1 – u potpunosti se ne slažem, 5 – u potpunosti se slažem)
1 2 3 4 5
13. Vaš prosjek na kraju prethodne akademske godine
bio je?
a)Manji ili jednak 3
b)Veći od 3
14. Koji fakultet pohađate?
(Napišite puni naziv fakulteta)
__________________________
__________________________
__________________________
__________________________
Zahvaljujem se na suradnji!