Fakultet prometnih znanosti Diplomski studij...1.3.2009 1 Umjetna inteligencija - Hibridni...

1.3.2009

1

Umjetna inteligencija

- Hibridni inteligentni sustavi –

47895/47816 UMINTELI

HG/2008-2009

Sveučilište u Zagrebu

Fakultet prometnih znanostiDiplomski studij

Hibridni inteligentni sustav

• Sustav sastavljen od više inteligentnih tehnologija

– Vjerojatnosno zaključivanje – neizvjesnost

– Neizrazita (fuzzy) logika – približno računanje

– Neuronske mreže – učenje, prilagoĎenje

– Evolucijski, genetski algoritmi – optimizacija

• Meko računanje

– Izrada HIS sposobnih zaključivati, učiti i prilagoĎavati se

u nesigurnoj i neizvjesnoj okolini

1.3.2009

2

Meko računanje

• Tradicionalno tvrdo računanje koristi

– izrazite, jasne vrijednosti ili brojeve

• Meko, približno računanje koristi

– neizrazite, nejasne vrijednosti izražene neizrazitim

skupovima ili riječima

• Čovjek:

– Osjetila: prikupljanje mekih podataka

– Mozak: približno zaključivanje, odlučivanje bez

brojeva

– Aktuatori: komunikacija riječima i brojevima

Usporedba inteligentnih tehnologija

ES NS NM GA

Prikaz znanja ○ ● □ ■

Snošljivost dvojnosti podatka ○ ● ● ●

Snošljivost netočnosti podatka □ ● ● ●

Prilagodljivost □ ■ ● ●

Sposobnost učenja □ □ ● ●

Sposobnost pojašnjenja ● ● □ ■

Otkriće znanja i dubinska analiza □ ■ ● ○

Održavanje □ ○ ● ○

ES - ekspertni sustavi, NS – neizraziti sustavi, NM – neuronske mreže, GA – genetski algoritmi

□ loše, ■ prilično loše, ○ prilično dobro, ● dobro

1.3.2009

3

Hibridni ekspertni sustavi

• Sinergija inteligentnih tehnologija

– Neuro-ekspertni sustavi

– Neuro-fuzzy ekspertni sustavi

– Evolucijsko neuronski ekspertni sustavi

– Fuzzy evolucijski ekspertni sustavi

Neuro-ekspertni sustavi

• Ekspertni sustavi

– Modeliranje zaključivanja

– Objšnjavanje zaključivanja

– Nemogućnost učenja na temelju iskustva

• Neuronske mreže

– Modeliranje strukture i funkcije mozga

– Istovremena obrada podataka

– Mogućnost samostalnog učenja, poopćavanja

• Konekcionistički ekspertni sustavi

1.3.2009

4

Struktura neuro-ekspertnog sustava

Izvlačenje pravilaNeuronska baza znanja

Baza podatakaPravila: AKO-

ONDA

Mehanizam zaključivanja

Mehanizam objašnjavanja

Korisničko sučelje

Korisnik

Novi

podaci

Podaci za vježbanje

Novi podaci se ne moraju

točno preklapati s podacima u

neuronskoj bazi znanja, kao

što je to nužno kod

produkcijskih pravila

Pridobivanje pravila iz znanja

implicitno zapisanog u

neuronskoj mreži

Izvlačenje pravila iz neuronske mreže

Pravilo 1

Pravilo 2

Pravilo 3

Krila

Rep

Kljun

Perje

Motor

Ptica

Zrakoplov

Jedrilica

Težine veza u neuronskoj mreži, dobivene vježbanjem mreže na primjerima,

odgovaraju jakosti i važnosti povezanih neurona

+1 istina

0 nepoznato

-1 laž

n

iiiwxX

1

01

01

X

XY AKO X ONDA Y

1.3.2009

5

Pravila iz mreže

Pitanja korisniku:

Neuron: Krila Pitanje: Da li objekt ima krila?

Neuron: Rep Pitanje: Da li objekt ima rep?

Neuron: Kljun Pitanje: Da li objekt ima kljun?

Neuron: Perje Pitanje: Da li objekt ima perje?

Neuron: Motor Pitanje: Da li objekt ima motor?

1

02.4)3.1()1()9.2(1)0.1(1)1.1(0)6.0(1

1

02.49.1)1()6.0(10.01)1.0(0)7.0(1

1

03.5)1.1()1(8.212.21)2.0(0)8.0(1

3

3

2

2

1

1

JedrilicaraviloP

raviloP

ZrakoplovraviloP

raviloP

PticaraviloP

raviloP

YY

X

YY

X

YY

X

Višeslojna neuronska baza znanja

Ulazni sloj Povezni

unutarnjii

sloj

Razdvojni

unutarnjii

sloj

Povezni

unutarnjii

sloj

Razdvojni

unutarnjii

sloj

Pravilo R1:

AKO a1 I a3 ONDA b1 (0.8)

Pravilo R2:


Pravilo R3:

AKO a2 I a5 ONDA b2 (-0.1)

Pravilo R4:


Pravilo R5:

AKO a5 ONDA b3 (0.6)

Pravilo R6:

AKO a1 I b3 ONDA c1 (0.7)

Pravilo R7:

AKO b2 ONDA c1 (0.1)

Pravilo R8:

AKO b2 I b3 ONDA c2 (0.9)

1.3.2009

6

Neuro-fuzzy ekspertni sustavi

• Neuronske mreže– sirovi podaci

– učenje

• Neizraziti sustavi– lingvističke informacije

– prikaz znanja

– neizraziti (Mamdani) način zaključivanja

– sposobnost objašnjavanja

• Transparentnost neuronskih mreža i sposobnost učenja neizrazitih sustava

Neizraziti ekspertni sustav ...

Pravilo 1: AKO x1 je A1 (μA1) I x2 je B1 (μB1) ONDA y je C2 (μC2)




Fuzifikacija i razvoj pravila

Ulazi:

x1 (A1, A2, A3)

x2 (B1, B2, B3)

Izlaz:

y (C1, C2)

1.3.2009

7

Neizraziti ekspertni sustav



y je C1 (μC1max) y je C2 (μC2

max)

Agregacija i defuzifikacija

Neizraziti sustav preslikan u mrežu1. sloj

Izraziti ulaz2. sloj

Funkcije pripadnosti

ulaza

4. sloj

Funkcije pripadnosti

izlaza

3. sloj

Neizrazita pravila

5. sloj

Defuzifikacija

P1

P2

P3

P4

P5

P6

1.3.2009

8

Struktura neuro-fuzzy sustava (1)

• 1. sloj – Ulazni sloj

yi(1) = xi

(1)

• 2. sloj – Funkcija pripadnosti ulaza

– fuzifikacija

– aktivacijska funkcija fuzifikacijskog neurona

odgovara neizrazitom skupu pridruženom

pravilu

Aktivacijska funkcija trokuta

20

22

21

20

)2(

)2(

)2(

)2(

)2(

baxako

bax

baako

b

ax

baxako

y

i

i

i

i

i

Parametri a (središte) i b (širina)

trokuta odgovoraraju sinaptičkim

težinama u neuronskoj mreži

1.3.2009

9


• 3. sloj – neizrazita pravila

– svaki neuron odgovara neizrazitom pravilu

– konjunkcija (min) ulaza (AKO dijela) pravila se

kod neizrazitih skupova ostvaruje operacijom

presjeka (množenja)

111

)3(

1

)3()3(

2

)3(

1

)3(

PBAP

kiiii

y

xxxy


• Težine izmeĎu 3. i 4. sloja odgovaraju

normaliziranim stupnjevima (faktorima)

uvjerenosti u istinitost neizrazitih pravila

– Težine se uspostavljaju u fazi učenja sustava

• 4. sloj – funkcije pripadnosti izlaza

– disjunkcija (max) izlaza (ONDA dijela) pravila

se kod neizrazitih skupova ostvaruje

operacijom unije (algebarskog zbroja)

163

)4(

1

)4()4(

2

)4(

1

)4(

CPPC

liiii

y

xxxy

1.3.2009

10


• 5. sloj – defuzifikacija

– metode defuzifikacije

• slaganje zbroja i umnoška (usrednjavanje)

• aC1 i aC2 su središta, a bC1 i bC2 su širine

neizrazitih skupova C1 i C2

2211

222111

CCCC

CCCCCC

bb

babay

Primjer neuro-fuzzy ekspertnog sustava

• Razdioba 100 uzoraka za vježbanje mreže u

X1 x X2 x Y prostoru lingvističkih varijabli:

malo (M) i veliko (V)

MM

M V

V

V

1.3.2009

11

Provjera pravila stručnjaka

• Stručnjak postavlja pravila - brže učenje

• Mogućnost netočnog ili redundantnog pravila

M

M

V

V

V

M

Normalizirani stupanj uvjerenosti

• Početna vrijednost težina izmeĎu 3. i 4.

sloja je jednake 1

• wP2 = 0, pravilo postaje redundanto i ne

utječe na rad sustava

Operacija isključivo ILI

Epoha

T

e

ž

i

n

a

wP1wP5

wP3 wP4

wP2

1.3.2009

12

Generiranje pravila iz podataka

• Sustav početno sastavljen od 22 x 2 =

8 pravila i vježba na lingvističkim podacima

Operacija isključivo ILI

Normalizirani stupanj uvjerenosti

• Početna vrijednost težina izmeĎu 3. i 4.

sloja je jednaka 0.5

• Poslije učenja odbacivanje svih pravila

wPi < 0.1 wP2

wP8

wP3 wP5

wP6 & wP7

wP4

wP1

Epoha

T

e

ž

i

n

a

1.3.2009

13

Evolucijsko neuronski ekspertni sustavi

• Nedostaci primjene neuronskih mreža

– algoritam učenja mreže (back-propagation) ne

jamči optimalno rješenje (prijenosna funkcija je

derivabilna) – ostajanje u lokalnom ekstremu

– odabir prikladne topologije mreže – heuristika

• Genetski algoritmi – učinkovite tehnike

– prilagodbe težina

– odabira topologije

Odarbir optimalnog skupa težina mreže

• Slučajni izbor početnih vrijednosti težina [-1, 1]

• Prikaz (kodiranje) težina – kromosomom sa 16 gena

Od/Do

1.3.2009

14

Genetske operacije - križanje

1. roditelj 2. roditelj

DijeteOperacija križanja

- dijete ima gene (dijelove

kromosoma) oba roditelja

Genetske operacije - mutacija

Operacija mutacije

- slučajni izbor gena i dodavanje male vrijednosti [-1, 1]

Izvorna mreža Mutirana mreža

1.3.2009

15

Odabir topologije mreže

• genetskom pretragom prostora mogućih topologija mreže (populacija)

• Kodiranje (prikaz) strukture mreže• više informacija – skuplje računanje

• izravno kodiranje

• primjena na otvorene mreže bez povratnog djelovanja

• matrica povezanosti– 0 – veza izmedju neurona ne postoji,

– 1 – postoji veza i težina se mijenja učenjem

Izravno kodiranje strukture mreže

Od/Do

1.3.2009

16

Genetski algoritam razvoja mreže ...

1. Odabrati veličinu populacije kromosoma, vjerojatnost križanja i mutacije, te broj epoha vježbanja

2. Odabrati funkciju uspješnosti f(x) za mjerenje djelotvornosti kromosoma (odabir za reprodukciju) i mreže (točnost, brzina učenja, veličina, složenost)

3. Slučajno generirati početne populacije kromosoma


4. Izračunati uspješnost kromosoma

• Dekodirati kromosom u neuronsku mrežu

• Izbrisati sve povratne veze (izravno kodiranje – samo otvorene mreže)

• Postaviti male [-1, 1] početne vrijednosti težina

• Učiti mrežu na primjerima za odreĎeni broj epoha

• Izračunati zbroj kvadratnih pogrešaka i odrediti djelotvornost mreže

1.3.2009

17


5. Ponavljati 4. korak za sve kromosome u

populaciji

6. Odabrati par kromosoma za repordukciju prema

vjerojatnosti njihove uspješnosti

7. Primjenom genetskih operatora križanja i

mutacije proizvesti par potomaka

• križanjem se na slučajnom mjestu kromosoma

roditelja zamjenjuje genetski niz

• mutacijom (mala vjerojatnost pojave – 0.005) se

komplementiraju jedan ili dva gena (bita) kromosoma

Genetski algoritam razvoja mreže

8. Proizvedeni potomci ulaze u novu populaciju

9. Ponavljati 6. korak sve dok veličina nove populacije kromosoma nije jednaka veličini početne populacije, a onda zamijeniti početnu (roditeljsku) populaciju s novom populacijom (potomaka)

10.Vratiti se na 4. korak i postupak ponavljati dok nije dostignut zadani broj naraštaja

1.3.2009

18

Razvoj topologije neuronske mrežeNeuronska mreža j

Uspješnost = 117

Naraštaj i

Naraštaj (i + 1)

Primjeri za vježbanje

Križanje

Mutacija

Roditelj 1

Roditelj 2

Potomak 1

Potomak 2

Fuzzy evolucijski ekspertni sustavi

• Primjena evolucijskog računanja u konstrukciji

neizrazitih sustava

– generiranje neizrazitih pravila

– prilagodba funkcija pripadnosti

• Primjena genetskog algoritma u odabiru skupa

neizrazitih AKO-ONDA pravila kod rješavanja

problema klasifikacije

– skup pravila se generira iz numeričkih podataka

– neizrazita rešetkasta podjela prostora (ulaznih)

mogućih rješenja – važan izbor gustoće podjele

1.3.2009

19

Neizrazita podjela prostora

• Neizrazita rešetkasta podjela 2D ulaznog prostora u 3 x 3 neizrazite podprostore

• Rešetkasta podjela kao tablica pravila:

– vrijednosti ulaza• x1 (A1, A2, A3)

• x2 (B1, B2, B3)

• na presjeku x1 i x2posljedični dio pravila

– svaki podprostor jedno pravilo - K x K pravila

Klasa 1:

Klasa 2:

Opći oblik pravila

• K = broj intervala na pojedinoj osi

• xp = primjer u ulaznom prostoru X1 x X2

• Cn = posljedični dio pravila (Klasa 1 ili Klasa 2)

• CFCnAiBj = faktor sigurnosti (uvjerenosti) da primjer

u neizrazitom podprostoru AiBj pripada klasi Cn

PpxxxCFCxONDA

KjBjjexI

KiAjexAKO

P

ppp

C

BAnp

p

ip

ij

n

ji,,2,1),2,1(

,,2,12

,,2,11

:raviloP

1.3.2009

20

OdreĎivanje posljedičnog dijela pravila i

faktora sigurnosti

1. Podijeliti ulazni prostor na K x K neizrazitih

podprostora i izračunati jakost svake klase

primjera u pojedinom neizrazitom

podprostoru

– više primjera dovodi do jače klase

– vezanost posljedičnog dijela jača, sigurnija uz

klasu kada se primjeri jedne klase pojavljuju

više puta nego li primjeri druge klase

Izračun jakosti klase

• Jakost klase Cn u podprostoru AiBj

• μAi(x1p) i μBij(x2p) = stupnjevi pripadnosti

primjera xp neizrazitim skupovima Ai i Bi

)2,1(),2()1(1

ppppB

P

Cx

ppA

C

BA xxxxxj

np

i

n

ji

73.0

09.109.011.0

12.087.034.092.089.075.0

)()()()(

)6()()()(

2

151588

644

1

12

1212

121212

Klasa

BA

BABA

BABA

Klasa

BA

xxxx

xxxx

1.3.2009

21

OdreĎivanje posljedičnog dijela pravila

2. Posljedični dio pravila odreĎuje najjača

klasa Cm

• u primjeru

• u podprostoru A2 i B1 posljedični dio pravila

je Klasa 1

N

jijijiji

C

BA

C

BA

C

BA

Cm

BA ,,,max 21

73.0

09.1

2

1

12

12

Klasa

BA

Klasa

BA

OdreĎivanje faktora sigurnosti

• Faktor sigurnosti pripadnosti posljedičnog

dijela neizrazitog pravila podprostoru A2 i B1

1

1

1

N

CF

N

mn

n

C

BA

BA

N

n

C

BA

BA

C

BAC

BA

n

ji

ji

n

ji

ji

m

jim

ji

20.073.009.1

73.009.11

12

Klasa

BACF

1.3.2009

22

Hibridni ekspertni sustavi - literatura• Fu, L.M. (1993). Knowledge-based connectionism for revising domain theories, IEEE Transactions on

Systems, Man and Cybernetics, 23(1), 173-182.

• Gallant, 5.1. (1988). Connectionist expert systems, Communications oftheACM, 31(2), 152-1 69.

• Gallant, SI. (1993). Neural Network Learning and Expert Systems. MIT Press, Cambridge, MA.

• Ichikawa, Y. and Sawa, T. (1992). Neural network application for direct feedback controllers, IEEE

Transactions on Neural Networks, 3(2), 224-231.

• Ishibuchi, H., Nozaki, K. and Tanaka, H. (1992). Distributed representation of fuzzy rules and its

application to pattern classification, IEEE Transactions on Fuzzy Systems, 3(3), 260-270.

• Ishibuchi, H., Nozaki, K., Yamamoto, N. and Tanaka, H. (1995). Selecting fuzzy If-Then rules for

classification problems using genetic algorithms, Fuzzy Sets and Systems, 52, 21-32.

• Jang, J.-S.R. (1993). ANFIS: Adaptive Network-based Fuzzy Inference Systems, IEEE Transactions on

Systems, Man and Cybernetics, 23(3), 665-685.

• Jang, J.-S.R., Sun, C.-T. and Mizutani, B. (1997). Neuro-Fuzzy and Soft Computing: A Computational

Approach to Learning and Machine Intelligence. Prentice Hall, Englewood Cliffs, NJ.

• Kasabov, N. (1996). Foundations of Neural Networks, Fuzzy Logic, and Knowledge Engineering. MIT

Press, Cambridge, MA.

• Lin, C.T. and Lee, G. (1996). Neural Fuzzy Systems: A Neuro-Fuzzy Synergism to Intelligent Systems.

Prentice Hall, Englewood Cliffs, NJ.

• Miller, G.F., Todd, P.M. and Hedge, S.U. (1989). Designing neural networks using genetic algorithms,

Proceedings of the Third International Conference on Genetic Algorithms, J.D. Schaffer, ed., Morgan

Kaufmann, San Mateo, CA, pp. 379-384.

Hibridni ekspertni sustavi - literatura• Montana, D.J. and Davis, L. (1989). Training feedforward networks using genetic algorithms,

Proceedings of the 11th International Joint Conference on Artificial Intelligence, Morgan Kaufmann, San

Mateo, CA, pp. 762-767.

• Nauck, D., Klawonn, F. and Kruse, R. (1997). Foundations of Neuro-Fuzzy Systems. John Wiley,

Chichester.

• Nikolopoulos, C. (1997). Expert Systems: Introduction to First and Second Generation and Hybrid

Knowledge Based Systems. Marcel Dekker, Inc., New York.

• Russell, Sj. and Norvig, P. (2002). Artificial Intelligence: A Modern Approach, 2nd edn. Prentice Hall,

Englewood Cliffs, NJ.

• Schaffer, J.D., Whitley, D. and Eshelman, L.J. (1992). Combinations of genetic algorithms and neural

networks: a survey of the state of the art, Proceedings of the International Workshop on Combinations

of Genetic Algorithms and Neural Networks, COGANN-92, D. Whitley and iD. Schaffer, eds, WEE

Computer Society Press, Baltimore, MD, pp. 1-37.

• Sestito, S. and Dillon T. (1991). Using single layered neural networks for the extraction of conjunctive

rules, Journal of Applied Intelligence, no.1, 157-173.

• Von Altrock, C. (1997). Fuzzy Logic and NeuroFuzzy Applications in Business and Finance. Prentice

Hall, Upper Saddle River, NJ.

• Whitley, D. and Hanson, T. (1989). Optimizing neural networks using faster, more accurate genetic

search, Proceedings of the Third International Conference on Genetic Algorithms, J.D. Schaffer, ed.,

Morgan Kaufmann, San Mateo, CA, pp. 391-396.

• Zadeh, L. (1996). Computing with words - A paradigm shift, Proceedings of the First International

Conference on Fuzzy Logic and Management of Complexity, Sydney, Australia, 15-18 January, vol.1,

pp.3-10

Fakultet prometnih znanosti Diplomski studij...1.3.2009 1 Umjetna inteligencija - Hibridni...

Documents

Transcript of Fakultet prometnih znanosti Diplomski studij...1.3.2009 1 Umjetna inteligencija - Hibridni...