prof. dr hab. in Ŝ. Andrzej Kos
Tel. 34.35, email: [email protected]
Pawilon C3, pokój 505
PRZEMYSŁOWE ZASTOSOWANIA SZTUCZNEJ INTELIGENCJI
Forma zaliczenia: egzamin
UWAGA !
Zamieszczony dalej konspekt wykładu stanowi skrót t reści
przewidzianej programem nauczania
Pełna wiedza przedstawiona zostanie podczas
kolejnych wykładów
Niedościgniony wzorzec – generator pomysłów
Sygnały elektryczne mózgu a prace in Ŝynierskie
Wykorzystanie indywidualnych cech sygnałów mózgu do identyfikacji personaliów
10 Obszarów mózgu, w którychmoŜna wykry ć róŜne schorzenia
Analizasygnałówbio-elektrycznych
Wnioskimedyczne
WnioskiinŜynierskie
Definicja sztucznej inteligencjiSystem inteligentny = system uczący się.
Geneza NN- Ograniczenia sprzętowe w postępie budowy tradycyjnego sprzętu komputerowego- Mała wydajność systemów tradycyjnych- Przewaga mózgu ludzkiego nad maszynąBudowa mózgu a proces uczenia si ę- Dwie półkule mózgowe jako „procesory”
- lewa - algorytmy- prawa - koncepcje, obrazy
- Rytmy pracy mózgu:- Szybki – algorytmy- Wolny – praca twórca (rola muzyki)- Bardzo wolny (wizje)
- Współpraca obu półkul mózgu
Dane mózgu- Liczba komórek neuronowych mózgu człowieka, ok. 1010
- Liczba połączeń między komórkami, ok. 1018
- Przeciętna odległość między komórkami 0,01-1 mm- Impulsy elektr. Generowane przez komórki: f=1-100Hz, U=0-100mV, czas trwania=1-2ms- Szybkość propagacji sygnałów 1-100m/s- Szybkość pracy mózgu: 10 operacji x 1015 synaps x 100Hz = 1018operacji/s
Mózg v. superkomputer
810
18
10/10
/10
10==
soperacji
soperacji
ETA
Mózg czyli = 100 000 000
Pionierskie prace nad sztuczną inteligencją:
-Początki lata 30 minionego stulecia.-McCulloch i Pitts przedstawili sformalizowany model neuronu w roku 1943Fundamentalnym elementem modelu jest sumowanie sygnałów wejściowych z odpowiednią waga i poddanie otrzymanej sumy działaniu liniowej lub nieliniowej funkcji aktywacji
-Kilka lat później Hebb przedstawił własna teorię uczenia – doboru wag Wij. Wykorzystał to do budowy pamięci asocjacyjnych. Przyrost wagi w procesie uczenia jest proporcjonalny doIloczynu sygnałów wyjściowych neuronów połączonych wagą Wij
-1957, Rosenblatt skonstruował fizyczny model neuronu jako system elektromechaniczny(potencjometry, dźwignie, silniki elektryczne itp.) do rozpoznawania znaków alfa-numerycznych
-W Polsce pierwsze prace nad nn: Karpiński i Michalski, z Instututu Automatyki PAN
= ∑
=
N
jjiji xwfy
1
)()()()1( kykykWkW jiijij η+=+
Budowa pamięci niekonwencjonalnych
-Pamięć klasyczna (np.: drzewo, algorytm). Informacja zawarta jest tylko w określonej
części pamięci
-Pamięć asocjacyjna – znakomita większość pamięci zaangaŜowana jest do zapamiętania
kaŜdej informacji (mechanizm równoległy)
Funkcje sieci neuronowych:
- Aproksymacja- Klasyfikacja i rozpoznawanie wzorców- Predykcja- Asocjacja- Sterowanie
Uproszczona budowa komórki nerwowej - neuronu
Wejście z innych neuronów
Błona komórkowa
(OUTPUT)
Połączenie aksonu poprzez synapsyz dendrytami
Budowa synapsy komórki nerwowej (biologicznej)
Fragment końcowy aksonuneurona wysyłającego sygnał
Odbiornik sygnałów – „ciało neuronu”
Generator sygnałów elektrycznych
(błona postsynaptyczna)
Waga synapsy (zmienny parametr)
Aktywacja neuronu lub„wstrzymywanie informacji”
Cechy neuronu:
-Ciało komórki gromadzi sygnały pochodzące od innych neuronów poprzez dendryty i dokonuje ich sumowania (całkowania)
-WaŜną rolę odgrywa opóźnienie czasów sygnałów-Jeśli całkowity (sumaryczny) sygnał wejściowy jest mniejszy od wartości progowej to
neuron pozostaje nieaktywny-Przekroczenie wartości progowej generuje sekwencję sygnałów o okresie ok. 1 ms-KaŜdy neuron mózgu ludzkiego otrzymuje sygnały wejściowe od 103 do 104 innych neuronów
-System neuronowy działa asynchronicznie (bez zegara)-Specyficzna cechą nn jest zdolność adaptacji i uczenia się-Uczenie, w uproszczeniu, polega na zmianie połączeń synapsowych zgodnie z regułą Hebba-Nauka jest procesem lokalnym i wymaga powtórzeń
Model neuronu
Funkcje aktywacji neuronu
funkcja Wzór funkcji Wzór pochodnej
Sigmoida
Tangens hiperboliczny
Sinusoida
Cosinusoida
(bez nazwy)
Zapis ró Ŝnych funkcji aktywacji
Perceptron wielowarstwowy
NEURONOWE KLASYFIKATORY
Neuronowe klasyfikatory dla ustalonych wzorców
Wejście binarne Wej ście ci ągłe
Uczenie z nadzorem Uczenie bez nadzoru Uczenie z na dzorem Uczenie bez nadzoru
Hopfield Hamming Carpenter/Grossberg Perceptr on Perc. wielowarst. Kohonen
Zastosowanie: optymalizacja, pamięć asocjacyjnaNp. wejście binarne, 8-bitowa reprezentacja znaków ASCIICharakterystyka neuronu typu „hard limiting”
Sieć Hopfielda
Xo’ X1
’ Xi’ XN-2
’ XN-1’
oµ 1µ iµ 2−Nµ 1−Nµ
Xo X1 Xi XN-2 XN-1
Algorytm funkcjonowania sieci Hopfielda jako klasyf ikatora
Krok 1: Zdefiniowanie wag poł ączeń (kodowanie wzorców)
−≤≤=
≠=∑−
=
1,0,,0
,1
0
Njiji
jixxt
M
s
sj
si
ij
tij – Waga połączenia węzła i z węzłem j.Xi
s – wartość (-1 lub 1) elementu i-tego naleŜącego do klasy s
Krok 2: Start algorytmu
Wprowadzenie wartości wejściowych rozpoznawanej figury
Gdzie jest wyjściem neuronu i w czasie txi – elementem i wejściowej figury, xi=1 lub –1.
10, −≤≤= Nixiiµ
)(tiµ
Krok 3: Wykonaj kolejne iteracje
funkcja fh jest tzw. „hard limiting” funkcją nieliniowąProces jest powtarzany dopóki wyjścia węzłów nie przyjmują ustalonych wartości. Wówczas wyjście węzła reprezentuje wzorzec najbardziej pasujący do nieznanej figury wejściowej.
10,)()1(0
−≤≤
=+ ∑−
=
NjttftN
jijhj µµ
Krok 4: Id ź do punktu 2
Uwaga: -liczba wzorców jest ograniczona. Jeśli zbyt duŜa sieć zbiega się do nowegonieoczekiwanego wzorca.
- Optymalna liczba wzorców = 0.15 N (liczby neuronów). Np. 10 klas wymaga N=70i ponad 5000 wag.
- Problemy pojawiają się z rozpoznaniem właściwego wzorca, gdy wzorce są podobne.
Przykład rozpoznawania figur przy pomocy sieci Hopfielda
Sieć składała się z 120 neuronów, liczba wzorców =8 - rys A.Wyniki rozpoznania na rys. B
SIEĆ NEURONOWA HAMMINGA (KLASYFIKATOR)
Def. Odległość Hamminga = liczba bitów niezgodności rozpoznawanej figury z wzorcem
Wagi sprzęŜeń pomiędzy neuronami przyjmują wartości , gdzie . Zastosowanie np. w telekomunikacji - eliminacja zniekształceń sygnałów przez szumy
y0 y1 yM-2 yM-1
x0 x1 ... xN-2 xN-1
MAXNET (Tthresholds=0, wagi auto-sprzęŜeń =1)Wybórmaksymalnego dopasowaniado wzorca (najbardziej pasującegowzorca)
Podsiećdopasowująca (N-odległośćHamminga) sygnałów do M wzorców
Wejście binarne (zaszumione)
Wyjście binarne. Wskazanie najbardziej pasującegowzorca. Tylko jeden bit wyjściowy powinien być = 1.
ε− M/1<ε
Algorytm funkcjonowania sieci Hamminga jako klasyfik atora
Krok 1: Wyznaczanie wag poł ączeń i rekompensat
Dla dolnego podobwodu:
gdzie jest wagą połączenia neuronu i z neuronem j,jest wartością progową funkcji pobudzenia neuronu.jest elementem i wzorca j.
Dla górnego podobwodu:
tkl - waga połączeń neuronu k z neuronem l. Wszystkie wartości progowe = 0
2,
2
Nxw j
ji
ij
−=Θ=
10,10 −≤≤−≤≤ MjNi
ijwΘ
=≠−
==
Mlk
lktkl 1
,,
,1
εε 1,0 −≤≤ Mlk
jix
Krok 2: Start algorytmu
jest wyjściem neuronu j w górnej sieci w czasie txi jest elementem i wejścia
ft jest funkcją neuronu:
Θ−= ∑−=
j
N
iiijtj xwf
1
0
)0(µ
10 −≤≤ Mj
)(tjµ
Krok 3: Wykonaj kolejne iteracje
Powtarzanie kolejnych kroków iteracji dopóki tylko jeden neuron wyjściowy przyjmuje wartość pozytywną(numer wzorca)
−=+ ∑≠ jk
kjtj ttft )()()1( µεµµ
1,0 −≤≤ Mkj
Krok 4: Id ź do kroku 2
Przykład funkcjonowania klasyfikatora Hamminga
1000 bitowe wejście100 wzorców (wyjście)
Stan wyjść dla t=0 po 3 iteracjach
Po 6 iteracjach Po 9 iteracjach
Poddany klasyfikacji przykładpasuje najbardziej do wzorca nr 50
Wyostrzanie odpowiedzi sygnałów wyj ściowych klasyfikatorów
Problem jednoznacznego określenia wzorca, czyli pojawienia się wyraźnych 0 lub 1 w MAXNET
Komparator binarny wybierającymaksimum z dwóch sygnałów
Komparator wybierający największy sygnał z ośmiu
KLASYFIKATOR CARPENTERA / GROSSBERGA
Sieć uczona bez nadzoru.
Wejście binarne. Na wyjściu pojawia się tylko jedna „1” określająca numer wzorca
N
M
Algorytm funkcjonowania sieci CARPENTERa/GROSSBERGa
Krok 1: Wyznaczenie warto ści wag poł ączeń
Przyjmujemy wartość ε,
1)0( =ijt
Nbij +
=1
1)0(
10,10 −≤≤−≤≤ MjNi
10 ≤≤ ε
tij(t)=waga połączenia z góry do dołu pomiędzy węzłem wejściowym i, a węzłem wyjściowym j w czasie t.bij(t)= waga połączeń z dołu do góry pomiędzy węzłem wejściowym i, a węzłem wyjściowym j w czasie t.Wagi definiują cechy wzorca na wyjściach j.ε= określa przedział tolerancji, w którym wynik dopasowania do wzorca moŜna uznać za prawidłowy
N-we, M - wy
Krok 2: Wprowad ź nowy sygnał wej ściowy
Krok 3: Oblicz wynik dopasowania do wzorca
- wartość wyjścia węzła j, a - element i wejścia, przyjmujący wartości 0 lub 1.
∑−=
−≤≤=1
0
10)(N
iiijj Mjxtbµ
jµ ix
Krok 4: Dopasowanie do wzorca
jjj µµ max* =
Krok 5: Test dopasowania ε∑−
=
=1
0
N
iixX
∑−=
=⋅1
0
N
iiij xtXT
ε>⋅X
XT
NIE TAK
IDŹ DO KROKU 6 IDŹ DO KROKU 7
Krok 6: Uniewa Ŝnienie najlepszego dopasowania
Chwilowo wynik dopasowania do wzorca w kroku 4 jest zerowany i nie bierze udziału w „maksymalizacji”W kroku 4. Następnie skok do kroku 3.
Krok 7: Adaptacja danych najbardziej pasuj ącego wzorca
Krok 8: Powtórz wracaj ąc do kroku 2
iijij xtttt )()1( =+
∑−=
+=+ 1
0
*
)(5.0
)()1(
N
iiij
iijij
xtt
xtttb
Przykład (Carpenter/Grossberg)
Dopasowywanie do trzech wzorców: literC, E i F. KaŜdy wzorzec składa się z 64 pikseli.
Wada: dość silny wpływ zakłóceń (szumów)na wynik.Zaleta: prosta topografia sieci.
9.0<ε
PERCEPTRON JEDNOWARSTWOWY JAKO KLASYFIKATOR
(R. Rosenblatt, „Principles of Neurodynamics”, New York, Spartan Books, 1959)
Wejście zarówno ciągłe jak i dyskretne. Przypisywanie elementów jednej z dwóch klas.
Wagi perceptronu modyfikowane w czasie uczenia według wielu róŜnych algorytmów
Oryginalny algorytm uczenia perceptronu (Rosenblatt )
Krok 1: Wyznaczenie wst ępne wag i przesuni ęć argumentu (threshold)
Podstaw małe wartości (bliskie zera) wag, tzn.
Krok 2: Wprowad ź nowy sygnał wej ściowy (ci ągły) i oczekiwana warto ść wyj ścia
Krok 3: Oblicz aktualn ą warto ść wyj ścia:
Krok 4: Adaptacja wag:
- dodatni współczynnik wzmocnienia mniejszy od 1d(t) – oczekiwana odpowiedź Uwaga: wagi nie są modyfikowane gdy na wyjściu pojawia się oczekiwana odpowiedź.
Krok 5: Powtórz krok 2 itd.
)10(0,0)0( −≤≤≈≈ Niw ii θ
−= ∑−=
1
0
)()()(N
iiiih txtwfty θ
[ ] 10),()()()()1( −≤≤−+=+ Nitxtytdtwtw iii ηBklasyprzypadkówdlaAklasyprzypadkówdlatd 1,1)( −+=
η
Przykład
Porządek wprowadzony przez dwie klasy (kółka i krzyŜyki). Niezbędna liczba iteracji = 80
TYPY REGIONÓW DECYZYJNYCH W ZALEśNOŚCI OD TOPOGRAFII PERCEPTRONU
PERCEPTRON WIELOWARSTWOWY JAKO KLASYFIKATOR
x0 x0’ x0’’ y0
xN-1 xN1-1’’ xN2-1’’ yM-1
10 1
1
0
' −≤≤
−= ∑−=
NjxwfxN
ijjijj θ
10''''' 2
1
0
1
−≤≤
−= ∑−
=
NkxwfxN
jkjjkj θ
10''''''1
0
2
−≤≤
−= ∑−
=
MlxwfyN
klkkll θ
Algorytm uczenia sieci „back propagation”
Neurony posiadają charakterystyki sigmoidalne, tzn,:
Krok 1. Inicjalizacja wag i offsetów ( ΘΘΘΘ)
)(1
1)( βαα −−+
=e
f
Inteligentneczujniki
Nadajniki, odbiorniki GPSŹródła zasilaniaProcesory i pamięci
INTELIGENTNA ODZIEś
?
ODZIEś WYCZYNOWA
Coś dla rowerzystów
„Inteligentna” tkanina (SoC ucz ący si ę + zasilanie)
Przyczyny uszkodze ń układów i systemów mikroelektronicznych
Termiczna optymalizacja topografii układu VLSI
Postawienie problemu
N N N Ne POW N POW S NPOW S= + +_ _ _ Przykładow funkcja celu
J T T Jd ic
i
N
io N kd
e
e= − +=∑( )
1
2
przy czym T x yo( , ) - określona funkcja , Tio - określona wartość,
Tic - temperatura obliczona w środku i-tego elementu,
J Jk kd, ( ) - funkcja (wartość) kary za przekroczenie dopuszczalnej temperatury. Ze względu na wybór T x yo( , ) mamy następujące przypadki funkcji celu: a) T x y const To m( , ) = = . Minimalizacja odchyłki od temperatury średniej. To kryterium prowadzi do rozkładu temperatury podłoŜa zbliŜonego do równomiernego, (minimalizacja napręŜeń termomechanicznych w elementach znajdujących się na podłoŜu). b) T x y const To a( , ) = = . Minimalizacja bezwzględnej temperatury pracy kaŜdego elementu istotnego termicznie. c) T x yo( , ) - z góry określony rozkład temperatury na podłoŜu. Kryterium prowadzi do minimalizacji odchyłki od zadanego pola temperatury.
Ω
ΩΩ
Ω
Ω
1
2i N
Elementistotnytermicznie
Przykładowe rozmieszczenie podobszarów Ωi na podłoŜu
Przykładowa topografia wybranego procesora
Fotografia modułu scalonego
Klasyczne metody optymalizacji
Metoda heurystyczna rozmieszczenia źródeł ciepła na wspólnym podło Ŝu
Podział podło Ŝa na symetryczne obszary (problem 2 źródeł)
Przypisanie źródłom obszarówproporcjonalnych do ich mocy strat
Wielowariantowe rozwi ązanieproblemu 2 źródeł
Wielowariantowe rozwi ązanieWybranego problemu 3 źródeł
Układ z 10 źródłami
Optymalizacja topografii przy pomocy sieci neuronow ych
ZałoŜenia wstępne:
Propozycja punktu startowego – obszary charakterystyczne
Sieć neuronowa składa się z N+1 subsieci. KaŜda subsieć jest wielowarstwowym perceptronem. Pierwsza warstwa utworzona jest przez węzły, które zwielokrotniają sygnały wejściowe bez zmiany ich wartości, f ( )ϑ ϑ= . Warstwa ukryta i wyjściowa składa się z neuronów, to znaczy elementów realizujących funkcję
f ( )exp( )
θθ φ
=+ − −
1
1
przy czym θ jest sumą algebraiczną sygnałów wchodzących do neuronu, φ reprezentuje istnienie dodatkowego wejścia EXTRA_INPUT równego 1. Subsieci o numerach od 1 do N przeznaczone są do generowania optymalnej topografii, zaś subsieć N+1 do estymacji temperatury w połoŜeniu optymalnym. Oszacowanie temperatur moŜliwe jest dzięki spostrzeŜeniu, Ŝe
T T T i Ni m i= + =∆ , ,...,1 przy czym Tm - temperatura średnia
Subsieć wyznaczająca optymalne połoŜenie i-tego źródła ciepła
Subsieć do oszacowania temperatur w połoŜeniu optymalnym
Temperatury poszczególnych źródeł ciepła
Wielkościami wejściowymi kompleksowej sieci neuronowej są: P P PN1 2, ,..., -moce źródeł ciepła, α - współczynnik konwekcji, L L Lx y z, , - wymiary podłoŜa, ∆ ∆xi yi, - wymiary źródeł (i=1,..., N). Konduktywność podłoŜa ma wartość ustaloną. Wszystkie wielkości są skalowane w taki sposób, Ŝe ich wartości mieszczą się w przedziale od 0 do 1. Wagi sieci korygowane są w czasie uczenia według oryginalnej reguły: dla i= 1,..., LNS i j=1,..., LNT
w i j t w i j t NS i d j[ , ]( ) [ , ]( ) [ ] [ ]+ = + ⋅ ⋅1 ηwo j t wo j t EXTRA INPUT d j[ ]( ) [ ]( ) _ [ ]+ = + ⋅ ⋅1 η
przy czym d j NT j NT jopt[ ] [ ] [ ]= −
Dla i= 1,..., LNR i j= 1,..., LNS
v i j t v i j t j NR i[ , ]( ) [ , ]( ) [ ] [ ]+ = + ⋅ ⋅1 η θvo j t vo j t j EXTRA INPUT[ ]( ) [ ]( ) [ ] _+ = + ⋅ ⋅1 η θ
przy czym 0 1< <η
θ[ ] [ , ] [ ]j w j k d kk
LNT
= ⋅=∑
1
Algorytm "back-propagation" minimalizuje róŜnicę pomiędzy aktualnym wyjściem NT i[ ] perceptronu, a Ŝądaną wartością optymalną, to znaczy NT i x i y i T iopt opt opt opt[ ] [ ] , [ ] [ ]= lub . Procedura uczenia powtarzana jest ITER razy. Wartości optymalne obliczono przy pomocy metody gradientowej. Dla oceny dokładności nauczonego perceptronu wprowadzono następujące kryteria: - Błąd średniokwadratowy połoŜenia
δgeoopt
i
NITER TESTNT i NT i
N ITER TEST=
−
⋅=∑∑ ( [ ] [ ])
_
_2
1
2
1
2 - Błąd średniokwadratowy temperatury
δtempopt
i
NITER TESTT i T i
N ITER TEST=
−
⋅=∑∑ ( [ ] [ ])
_
_2
1
2
1
- Maksymalny błąd połoŜenia
δgeo i N ITER TEST optABS NT i NT imax ,..., , ,..., _max ( [ ] [ ])= −=1 2 1
- Maksymalny błąd temperaturyδtempmax - analogiczny do błędu połoŜenia, przy czym ITER_TEST jest liczbą cykli testujących nauczoną sieć.
Przykład 1. Problem polega na optymalnym rozmieszczeniu, w sensie minimum temperatury źródeł, pięciu źródeł na podłoŜu alundowym (λ = 20W / mK) o wymiarach 50 x 50 x 0.625 mm3. Układ chłodzony jest dwustronnie konwekcyjnie, 15 100≤ ≤α W/ m K2 . Moce źródeł 1 05W 1≥ ≥ ≥ ≥P P,..., . Wymiary źródeł ∆ ∆xi yi, = 5mm, dla i= 1,...,5. Liczba cykli uczenia ITER=10000. W kaŜdym cyklu dane wejściowe generowano losowo z równomiernym rozkładem prawdopodobieństwa. Nauczoną sieć wykorzystano do generacji optymalnych topografii dla ITER_TEST =1000 losowo wybranych przykładów danych wejściowych. Otrzymano następujące wartości kryteriów: δ δ δ δgeo temp temp o= = = =1 4 3 1 3 2 12 4. . . .maxmm, C, mm, C (= 18.6%o geomax w odniesieniu do temperatury optymalnej). Rysunek porównuje przykładową topografię wygenerowaną przez sieć neuronową z topografią optymalną, otrzymaną metodą gradientową. Dane: P P P P P W1 2 3 4 51 0 5 0 4 0 25 0 1 15= = = = = =, . , . , . , . ,α W / m K2 , Ta = 25oC. Wyniki: T T T T Topt o opt o opt o opt o opt o1 2 3 4 576 8 65 59 1 55 8 52 4, , , . ,. . . .= = = = =C, C, C, C, C. T T T T Tnn nn o nn o nn o nn o1 2 3 4 578 1 66 1 63 4 56 2 53 1, , , , ,. . . . .= = = = =oC, C, C, C, C.
Do przykładu 1
Przykład 2. Struktura sieci przedstawiona w przykładzie 1 została uŜyta do projektowania układów, które róŜnią się od poprzednich sposobem chłodzenia, wymiarami i liczbą źródeł ciepła. Tym razem minimalizowana była odchyłka temperatury pracy źródeł od temperatury średniej. Liczba źródeł wynosiła 4, sposób chłodzenia konwekcyjno-kondukcyjny, wymiary podłoŜa 40 x 50 x 0.625 mm3, wymiary źródeł ∆ ∆xi yi= =5 6mm, mm, i= 1,...,4. Wyniki symulacji 1000 losowych przykładów przy pomocy nauczonej sieci są następujące: δ δ δ δgeo temp temp o= = = =1 4 3 6 2 2 2 8. . . .maxmm, C, mm, C (= 14.5%o geomax w
odniesieniu do temperatury optymalnej). Rysunek przedstawia przykładowy układ zaprojektowany dwojako: metodą neuronową oraz tradycyjną gradientową. Dane: P P P P1 2 3 4 0 5= = = = . W, α = 15W/ m K2 , T Tc a= = 20oC. Wyniki: T T T Topt opt opt opt o1 2 3 4 48 8, , , , .= = = = C,
T T T Tnn nn o nn o nn o1 2 3 448 8 49 1 49 1 49 0, , , ,. . . .= = = =oC, C, C, C .
Do przykładu 2
Pewne moŜliwości rozmieszczenia 4 źródeł ciepła na podłoŜuP1=0.4W, P2=0.6W, P3=1W, P4=2W
SIEĆ HOPFIELDA
Sieć Hopfielda
W celu wyboru najlepszego rozwiązania w sensie minimum S uŜyto oryginalnie sieci neuronowej Hopfielda. W naszym przypadku minimalizacja energii sieci odpowiada minimalizacji długości obwodów Si . Sieć przypomina macierz o wymiarach n x n. Współrzędne (i,k) określają obecność i-tego subźródła w k-tej ramce. Liczba subźródeł odpowiada liczbie ramek. KaŜde subźródło przypisane jest jednemu i tylko jednemu źródłu.
Wagi sieci są symetryczne, to znaczy w wik jl jl ik, ,= . Nie istnieją autosprzęŜenia, wik ik, = 0. Stan neuronu określony jest poziomem aktywacji uik opisanym równaniem
du
dt
uw x Iik ik
jl ikj l
n
jl ik= − + +=∑τ ,, 1
i, k = 1,..., n przy czym: t - czas, τ - stała czasowa, n - liczba ramek równa liczbie subźródeł, wjl ik, - waga połączenia pomiędzy elementami (j, l) i (i, k),
I ik - wejściowy sygnał zewnętrzny, xik - wyjście neuronu (i, k),
)]exp(1/[1 ikik ux −+=
Ogólnie funkcja energii sieci przedstawiona jest wzorem E T T= − −0 5. x Wx R x
przy czym x - m-wymiarowy wektor, m n= 2, R - m-wymiarowy wektor, W - m x m wymiarowa macierz. Funkcję energii:
E E E E E= + + +1 2 3 4 E1 − reprezentuje zasadę: kaŜda ramka posiada jedno i tylko jedno subźródło, E2 − wymaga, aby wyjście kaŜdego neuronu dąŜyło do zera lub jedynki, E3 − zapewnia koherentność c-obszarów, E4 − reprezentuje funkcję celu F E1 −
F d e x xklk li j
ij ik jl= ∑∑0 5.,,
przy czym dkl − odległość pomiędzy ramką k, a ramką l, eij − współczynnik proporcjonalny do mocy źródła zawierającego
oba subźródła i oraz j.
Jeśli ramki i i j naleŜą do róŜnych źródeł wówczas eij = 0.
Składniki funkcji energii wyglądają następująco
−+−= ∑ ∑ ∑ ∑i k k i
ikik xxAE 2211 )1()1(
( )iki k
ik xxAE −= ∑∑ 122
E A c e x xkl ij ikk li j
jl3 3= ∑∑,,
E A d e x xklk li j
ij ik jl4 4= ∑∑,,
A A A A1 2 3 4, , , ∈R
ckl = 0 jeśli ramki k i l naleŜą do koherentnego c-obszaru, w innym wypadku ckl = 1. Przedstawiona sieć neuronowa symulowana na mikrokomputerze została uŜyta do rozwiązania naszego zadania optymalizacji. Uściślijmy dane projektowe przykładowego układu. Wymiary podłoŜa 50 x 80 x 0.6 mm3, chłodzenie - konwekcja swobodna (α = 15W/ m K2 ), liczba ramek = 40. Przyjęto następujące wartości stałych we wzorach: τ = 10,A A A A1 2 3 4= = = =3 1 0 1, , . . Wartości początkowe:
( )iv1 u nik e( ) log ( ),0 1= − − dla i, k = 1,..., n ( )iv 2 uik ( )0 0=
( ), ( )iv iv3 4 uik ( )0 = wartości losowe
Pierwszy warunek (iv1) oznacza, Ŝe x nik ( ) /0 1= , wówczas składnik E1 funkcji energii zeruje się w punkcie startowym. Warunek (iv2) ustala wartość kaŜdego neuronu równą 0.5. Warunki (iv3) i (iv4) reprezentują losowo wybrane wartości. Równanie (6.21) rozwiązano przy pomocy metody Rungego - Kutty czwartego rzędu ze zmiennym krokiem h. Jako wartość początkową h przyjęto 0.0001. Dla róŜnych warunków początkowych (iv1-iv4) otrzymano cztery rozwiązania. Rozwiązania róŜnią się zarówno kształtem c-obszarów jak i liczbą iteracji ITER, potrzebnych do osiągnięcia lokalnego minimum funkcji energii. Wyniki przedstawiono na rysunku i w tablicy 1. Dla kaŜdej tak otrzymanej topografii obliczono rozkład temperatury na podłoŜu metodą analityczną. Przy pomocy wzoru
DN
T Ti m Ni
NN= −
=∑1 21
2 ( )
(przy czym Ti - temperatura obliczona w środku i-tego źródła, Tm - temperatura średnia układu, N - liczba źródeł ciepła) porównano poszczególne rozwiązania (tab.1). Analizując wyniki naleŜy stwierdzić, Ŝe jakkolwiek otrzymano róŜne rozwiązania (róŜne minima lokalne funkcji energii), to z praktycznego punktu widzenia są one równowaŜne. Szczególną uwagę zwraca przypadek (iv1), ze wzglądu na minimalną liczbę iteracji. Tablica .1 RóŜne moŜliwości podziału podłoŜa na c-obszary
Rys.
S1 S2 S3 S4 S D oC
Iv ITER
a 8 12 14 18 52 26.2 4 146 b 8 10 14 18 50 27.5 1 46 c 8 10 16 20 54 d 10 12 14 22 58 25.3 2 172 e 10 14 14 18 56 f 10 14 14 18 56 g 8 10 22 18 58 h 8 10 14 22 54 27.7 3 190
RóŜne rozwi ązania zadania optymalizacji
Ze wzrostem liczby źródeł ciepła wzrasta szybko liczba neuronów w sieci Hopfielda. Dla uproszczenia proponuje się wprowadzić hierarchiczny podział podłoŜa. KaŜdy poziom hierarchii nie powinien przekraczać czterech części. Wstępnie źródła ciepła grupowane są w abstrakcyjne źródła o mocy sumarycznej. Otrzymujemy nowe, uproszczone zadanie o mniejszej liczbie źródeł. Po jego rozwiązaniu przechodzimy do poziomu coraz to niŜszego, aŜ osiągniemy poziom najniŜszy, w którym poszukujemy rozkładu rzeczywistych źródeł. Dla naszego zadania optymalizacji moŜna dokonać przykładowego zgrupowania: P P P1 2 31 0 1 0+ = =. .W, W, P4 2= W. PodłoŜe podzielone jest na trzy c-obszary. W niŜszym poziomie c-obszar "1+2" dzieli się na dwa oryginalne c- obszary. Dzięki dwupoziomowemu hierarchicznemu podziałowi osiągnięto znaczne skrócenie czasu obliczeń komputerowych. Pierwszy poziom wymaga sieci z zaledwie 16 neuronami. Problem drugiego poziomu (niŜszego) rozwiązuje sieć składającą się ze 100 neuronów. Czas obliczeń jest ponad 100 razy krótszy w porównaniu z siecią niehierarchiczną. Wyniki przedstawiono w tablicy 2. Wartości wskaźnika D są tylko nieznacznie gorsze. Tablica 2 Podział hierarchiczny podłoŜa
Rys.
S1
S2
S 1,2 D oC
iv
ITER
a
12
14
26
28.0
1
42
b
14
16
30
29.2
3
98
Taki sam podział hierarchiczny zastosowano do zadania, w którym opisany mikroukład z podłoŜem alundowym przyklejono centrycznie do aluminiowego wymiennika ciepła o wymiarach 100 x 200 x 2mm3. W tym wypadku estymator D dla przypadków (a) i (b) - tab. 2 wynosił odpowiednio 16.2oC i 16.8 oC.
Hierarchia trójpoziomowa
Hierarchiczny rozkład czterech źródeł ciepła
Top Related