動態類神經網路~電機大師黃聰亮教授演講投影片

資訊科技新知資訊科技新知︰︰動態類神經系統動態類神經系統黃聰亮教授黃聰亮教授國立臺北教育大學資訊科學系暨研究所系主任暨所長國立臺北教育大學資訊科學系暨研究所系主任暨所長美國財務金融管理學院美國財務金融管理學院 (AAFM) (AAFM) 院院士士中華民國國際學術交流學會理事長中華民國國際學術交流學會理事長

國立臺灣大學電機系電機博士國立臺灣大學電機系電機博士國立臺灣大學電機系電機碩士國立臺灣大學電機系電機碩士國立臺灣大學電機系電機學士國立臺灣大學電機系電機學士NEUST STATE UNIVERSITY NEUST STATE UNIVERSITY 企管博士企管博士NEUST STATE UNIVERSITY NEUST STATE UNIVERSITY 教育教育博士博士國立摩納哥皇家大學國立摩納哥皇家大學 (I.U.M.) (I.U.M.) 財管碩士財管碩士September 2008September 2008

報告內容報告內容生物神經網路生物神經網路類神經網路類神經網路動態類神經網路動態類神經網路

1.1 1.1 簡介簡介• 電腦的有效性仍然令我們失望，譬如說在電腦的有效性仍然令我們失望，譬如說在影像辨識、、語音辯認、以及、以及決策處理等方面的問題等方面的問題上。上。

• 在於數位電腦基本架構的限制，因其本質上就在於數位電腦基本架構的限制，因其本質上就只能根據使用者撰寫的電腦程式來執行運算。只能根據使用者撰寫的電腦程式來執行運算。

• 期望能夠設計出一部能像人類大腦一樣，能夠期望能夠設計出一部能像人類大腦一樣，能夠學習學習及具有及具有智慧的機器，如此一來，許多複雜的機器，如此一來，許多複雜難解、或有生命危險等高難度的工作，便可以難解、或有生命危險等高難度的工作，便可以交由此等智慧型的機器來完成。交由此等智慧型的機器來完成。

1.21.2 生物神經網路生物神經網路 (1)(1)

• 如何藉助生物神經系統處理資訊的模式及如何藉助生物神經系統處理資訊的模式及架構，來設計出有智慧的機器是一大挑戰。架構，來設計出有智慧的機器是一大挑戰。

圖 1.1 ：人類神經系統示意圖。

外界刺激感覺接受器中樞神經系統受動器反應

EX：燙的物體觸覺腦和脊髓手放開


• 人類對大腦的正確認知，是藉由逐漸地修正錯人類對大腦的正確認知，是藉由逐漸地修正錯誤知識而形成的。誤知識而形成的。

• 1818 世紀初，弗盧杭從移除各種動物的大腦的不世紀初，弗盧杭從移除各種動物的大腦的不同區域的實驗中，觀察有哪些功能仍能遺留下同區域的實驗中，觀察有哪些功能仍能遺留下來？最後他認定腦部各區不可能具有不同的功來？最後他認定腦部各區不可能具有不同的功能。能。

• 但有些人卻認為腦部可區分成明確的區域，此但有些人卻認為腦部可區分成明確的區域，此派學說以高爾醫生最為著名。發展成派學說以高爾醫生最為著名。發展成『『腦相腦相術術』』。。

腦部相關資訊腦部相關資訊 (1)(1)

• 1818 世紀初，弗盧杭從移除腦的不同區域實驗中，世紀初，弗盧杭從移除腦的不同區域實驗中，得知腦部是整體而不具有特定區域功能。得知腦部是整體而不具有特定區域功能。

• 尺寸的不同尺寸的不同：腦部越大，越聰明？：腦部越大，越聰明？大象是人的五倍。大象是人的五倍。• 腦部與體重之比例腦部與體重之比例：比例越大，越聰明？：比例越大，越聰明？• 大象是大象是 0.2%0.2% ，人是，人是 2.33%2.33% ，地鼠是，地鼠是 3.33% 3.33% 。。• 大腦皮質皺摺複雜度及面積大腦皮質皺摺複雜度及面積：越大，越聰明？：越大，越聰明？• 地鼠是郵票大小、黑猩猩是地鼠是郵票大小、黑猩猩是 A4A4 大小、人是大小、人是 4 x 4 x

A4A4 大小大小 (( 厚厚 )) 、海豚比人還大、海豚比人還大 (( 薄薄 )) 。。


• 經過數百年演化，大腦逐漸由下層組織發展出經過數百年演化，大腦逐漸由下層組織發展出高階之上層組織，如圖高階之上層組織，如圖 1.11.1 所示。所示。

• 人類胚胎的大腦大抵遵循此發展。人類胚胎的大腦大抵遵循此發展。


人類的大腦具有人類的大腦具有 (1) (1) 腦幹腦幹 (brainstem)(brainstem) ：又稱爬蟲類大腦：又稱爬蟲類大腦。。負責呼吸等基本生命功，並控制生存所必須之負責呼吸等基本生命功，並控制生存所必須之反應及運動。純粹機械性、無意識的過程；反應及運動。純粹機械性、無意識的過程；

(2) (2) 邊緣系統邊緣系統 (limbic system)(limbic system) ：又稱哺乳：又稱哺乳類大腦。情緒中樞，進化過程中又逐漸多了學類大腦。情緒中樞，進化過程中又逐漸多了學習及記憶功能；習及記憶功能；

(3) (3) 大腦新皮層大腦新皮層 (neocortex)(neocortex) ：大腦的最外：大腦的最外層的皺摺組織，思考重鎮，有了它才使得人與層的皺摺組織，思考重鎮，有了它才使得人與其他生物之差別其他生物之差別 [2][2] 。。


(a) 人類大腦組織示意圖 ( 本圖摘自 [9])


• 腦電波腦電波 (EEG(EEG ，， Electroencephalography)Electroencephalography) 、、• 核磁共振核磁共振 (MRI(MRI ，， Magnetic Resonance Imaging)Magnetic Resonance Imaging) 、、• 功能性核磁共振功能性核磁共振 (fMRI)(fMRI) 、、• 正子斷層掃描正子斷層掃描 (PET(PET ，， Position Emission Position Emission

Topography)Topography) 、、• 近紅外光光譜儀近紅外光光譜儀 (NIRS(NIRS ，， Near-infra-red Near-infra-red

Spectroscopy)Spectroscopy)• 腦磁波腦磁波 (MEG(MEG ，， Magneto encephalography) Magneto encephalography) 等等• 近數十年來，認知科學的興起，讓人類對大腦的全盤認近數十年來，認知科學的興起，讓人類對大腦的全盤認

識，越來越有指日可待的期盼。識，越來越有指日可待的期盼。

摘自：大腦的秘密檔案洪蘭譯

生物類別生物類別 (1)(1)

• 達爾文生物達爾文生物


• 史金納生物史金納生物


• 巴柏生物巴柏生物


• 格雷利高生物格雷利高生物

能力來源能力來源• 遺傳及後天環境刺激遺傳及後天環境刺激

摘自：大腦的秘密檔案洪蘭譯

如何看待刺激？如何看待刺激？

Illusion (1)Illusion (1)

Illusion (2)Illusion (2)


• 基本上，有兩種不同的途逕來嘗試研究大腦的功能。第基本上，有兩種不同的途逕來嘗試研究大腦的功能。第一種屬於一種屬於由下而上的由下而上的方式，通常生物神經學家方式，通常生物神經學家 (neurobiologists) (neurobiologists) 採用此種方式，藉由對單一神經細胞採用此種方式，藉由對單一神經細胞的刺激與反應的刺激與反應 (stimulus-response) (stimulus-response) 特徵的瞭解，進而對特徵的瞭解，進而對由神經細胞聯結而成的網路能有所認識；而心理學家由神經細胞聯結而成的網路能有所認識；而心理學家 (psychologists) (psychologists) 採取的是採取的是由上而下由上而下的途逕，他們從知覺的途逕，他們從知覺 (cognition) (cognition) 與行為反應來瞭解大腦。與行為反應來瞭解大腦。

• 目前我們對大腦運作模式的瞭解仍然十分有限。目前我們對大腦運作模式的瞭解仍然十分有限。 • 人類的神經系統可視為三個子系統所互相協調而成的複人類的神經系統可視為三個子系統所互相協調而成的複合系統，如圖合系統，如圖 1.11.1 所示。所示。

圖 1.1 ：人類神經系統示意圖。

1.31.3 生物神經細胞生物神經細胞 (1)(1)

• 18721872 年發生了神經科學史上的重大突破，義年發生了神經科學史上的重大突破，義大利的年輕醫學院畢業生高基用肉眼看到腦部大利的年輕醫學院畢業生高基用肉眼看到腦部的最基本的構成單元─神經細胞的重大發現。的最基本的構成單元─神經細胞的重大發現。

• 人類的大腦是由大約人類的大腦是由大約 10101111 個神經細胞個神經細胞 (nerve (nerve cells) cells) 所構成，每個神經細胞又經由約所構成，每個神經細胞又經由約 101044 個個突觸突觸 (synapses) (synapses) 與其它神經細胞互相聯結成一與其它神經細胞互相聯結成一個複雜，但具有平行處理能力的資訊處理系統。個複雜，但具有平行處理能力的資訊處理系統。

一個典型的神經元可分為一個典型的神經元可分為 (1)(1) 細胞本體細胞本體 (soma)(soma) 、、 (2)(2) 軸突軸突 (axon)(axon) 、以及、以及 (3)(3) 樹突樹突 (dendrites)(dendrites) 等三部份。等三部份。

圖 1.2 ：生物神經細胞示意圖。

1.31.3 生物神經細胞生物神經細胞 (2)(2)

• 樹突樹突的主要功能就是接受其它神經元所傳遞而的主要功能就是接受其它神經元所傳遞而來的信號。來的信號。

• 若導致位於若導致位於軸突丘軸突丘的細胞膜電位的細胞膜電位超過某一特超過某一特定閥值定閥值 (threshold)(threshold) 時，則所謂的時，則所謂的「活化電位」「活化電位」(action potential) (action potential) 的脈衝就會被激發出來。的脈衝就會被激發出來。

• 藉由管狀似的藉由管狀似的軸突軸突傳遞至其它相連接的神經元。傳遞至其它相連接的神經元。• 軸突的終點處是軸突的終點處是「突觸」「突觸」，這種細胞間的信號，這種細胞間的信號傳遞以傳遞以化學性化學性的方式居多。的方式居多。

圖 1.3 ：神經信號之傳遞。

1.3.1 1.3.1 生物電位生物電位與活化電位與活化電位 (1)(1)

• 細胞內外充滿了含有陰離子細胞內外充滿了含有陰離子 (( 如：氯離子，如：氯離子， ClCl-- )) 及陽離子及陽離子 (( 如：鈉離子、鉀離子、鈣離子，如：鈉離子、鉀離子、鈣離子， NaNa++, K, K++, , 及及 CaCa+2+2 等等 )) 的電解液。的電解液。

• 細胞的外圍是一層半滲透性的組織，此組織稱細胞的外圍是一層半滲透性的組織，此組織稱為為細胞膜細胞膜。。

• 這些離子在這些離子在 (1)(1) 滲透壓滲透壓和和 (2)(2) 電場效應電場效應的影響的影響下，最後會達到一種平衡狀態，使得鉀離子大下，最後會達到一種平衡狀態，使得鉀離子大部份位在細胞體內，而鈉離子大部份位在細胞部份位在細胞體內，而鈉離子大部份位在細胞體外，這時細胞便呈現約體外，這時細胞便呈現約 -85mv -85mv 的的「休止電「休止電位」位」 (resting potential)(resting potential) 。。

圖 1.4 ：理想化之細胞模型

1.3.11.3.1 生物電位生物電位與活化電位與活化電位 (2)(2)

• 我們可以用我們可以用 Goldman (Goldman ( 或或 GHK) GHK) 式子來計算式子來計算細胞膜電位細胞膜電位 [1][1] ：：

其中其中 PPNaNa 、、 PPK K 和和 PPClCl 代表鈉、鉀、和氯離子穿代表鈉、鉀、和氯離子穿透細胞膜的係數，下標透細胞膜的係數，下標 i i 和和 o o 分別代表細胞分別代表細胞內與外，內與外， KK 、、 NaNa 、和、和 Cl Cl 代表離子濃度。代表離子濃度。

V

K NaP

PCl

P

P

K NaP

PCl

P

P

m

o oNa

Ki

Cl

K

i iNa

Ko

Cl

K

58 log


• 大多數的哺乳類動物的神經細胞，其休止電位差大大多數的哺乳類動物的神經細胞，其休止電位差大約都接近約都接近 -70mv-70mv 。。

• 當神經細胞被刺激時，在樹突部位的細胞膜的特性當神經細胞被刺激時，在樹突部位的細胞膜的特性會被改變，使得鈉離子可以進入細胞內，導致細胞會被改變，使得鈉離子可以進入細胞內，導致細胞膜電位的改變，這種電位稱為膜電位的改變，這種電位稱為「後突觸細胞膜電位「後突觸細胞膜電位(post-synaptic potential)(post-synaptic potential) 」」，其振幅與刺激，其振幅與刺激強度成正比，並且會隨著傳遞距離的增加而衰減。強度成正比，並且會隨著傳遞距離的增加而衰減。

• 後突觸細胞膜電位的產生，會依據神經傳導物質的後突觸細胞膜電位的產生，會依據神經傳導物質的種類不同而有不同的效果，也就是說，可以分為兩種類不同而有不同的效果，也就是說，可以分為兩種刺激種刺激 : (1) : (1) 激發型激發型─細胞膜的電位往增加的方向─細胞膜的電位往增加的方向改變，以及改變，以及 (2) (2) 抑制型抑制型─細胞膜的電位往更負的方─細胞膜的電位往更負的方向改變。向改變。


• 所有位於樹突上，因刺激而引起的電位變化，都會所有位於樹突上，因刺激而引起的電位變化，都會朝向位於細胞本體上之軸突丘方向傳遞。朝向位於細胞本體上之軸突丘方向傳遞。

• 此時，如圖此時，如圖 1.61.6 所示的「所示的「時間性相加時間性相加 (temporal (temporal summation)summation) 」─」─ 將所有在不同時間到達的刺將所有在不同時間到達的刺激相加起來和「激相加起來和「空間性相加空間性相加 (spatial (spatial summation)summation) 」─」─ 將刺激型和抑制型的刺激相將刺激型和抑制型的刺激相加起來加起來。。

• 若這些信號的綜合效果，導致軸突丘的細胞膜電位若這些信號的綜合效果，導致軸突丘的細胞膜電位的增加，而且超過某一特定的閥值的增加，而且超過某一特定的閥值 (( 如如 -55mv)-55mv)時，時，則則「活化電位」「活化電位」會被激發。會被激發。


圖 1.6 ：發生於神經元突觸之 [時間性相加 ] 示意圖


• 在軸突丘的細胞膜上的鈉離子通道會被開啟，導致大量的鈉離子在軸突丘的細胞膜上的鈉離子通道會被開啟，導致大量的鈉離子進入細胞膜內，進而激發「活化電位」的產生，如圖進入細胞膜內，進而激發「活化電位」的產生，如圖 1.7(a) 1.7(a) 所示。所示。

• 由於鈉離子的大量進入，使得細胞膜電位呈現正值，這種現象被由於鈉離子的大量進入，使得細胞膜電位呈現正值，這種現象被稱作去極化稱作去極化 (depolarization)(depolarization) ；；

• 一但電位呈現約一但電位呈現約 20mv20mv 的正值時，鉀離子會離開細胞，導致細胞的正值時，鉀離子會離開細胞，導致細胞膜電位呈現比休止電位還要負的現象，這種現象被稱作過極化膜電位呈現比休止電位還要負的現象，這種現象被稱作過極化 (hyperpolarization) (hyperpolarization) 。。

• 「活化電位」以一種振幅大小不變的方式，沿著軸突方向傳遞。「活化電位」以一種振幅大小不變的方式，沿著軸突方向傳遞。刺激強度的資訊與活化電位的發生頻率有關，而與其振幅的大小刺激強度的資訊與活化電位的發生頻率有關，而與其振幅的大小無關，其傳遞的速度與無關，其傳遞的速度與 (1)(1) 軸突的直徑大小以及軸突的直徑大小以及 (2)(2) 軸突上之細胞軸突上之細胞膜的電容及電阻性有關。膜的電容及電阻性有關。

圖 1.7 ： (a) ：活化電位示意圖


• 活化電位的產生及傳遞在在都需要時間，倘若信活化電位的產生及傳遞在在都需要時間，倘若信號的傳遞方式就只有此種形式，那麼大型動物豈號的傳遞方式就只有此種形式，那麼大型動物豈非會因為體型大而註定行動遲緩？非會因為體型大而註定行動遲緩？

• 自然的演化導致所謂的「髓鞘環繞的軸突自然的演化導致所謂的「髓鞘環繞的軸突 (myelinated axon)(myelinated axon) 」的產生，在整條被許旺」的產生，在整條被許旺細胞包裹住的軸突上，會有一些稱為「郎威埃氏細胞包裹住的軸突上，會有一些稱為「郎威埃氏結」結」 (Raviner nodes) (Raviner nodes) 的小間隙沒有被包裹住，的小間隙沒有被包裹住，因而活化電位可以在此產生，所以對於髓鞘環繞因而活化電位可以在此產生，所以對於髓鞘環繞的軸突來說，活化電位是以「跳躍式的傳導的軸突來說，活化電位是以「跳躍式的傳導(salutatory conduction)(salutatory conduction) 」的方式進行，以加」的方式進行，以加速傳遞的速度。速傳遞的速度。

圖 1.7 ： (b) ：發生於髓鞘環繞的軸突的跳躍式傳遞。


• 我們可以用如圖我們可以用如圖 1.8 1.8 所示的電路來模擬所示的電路來模擬位於軸突的細胞膜。位於軸突的細胞膜。

• 其中其中 CCm m 代表細胞膜的電容性，代表細胞膜的電容性， ggkk 、、 ggCl Cl

和和 ggNa Na 代表離子進出入細胞膜的難易度，代表離子進出入細胞膜的難易度，• ggk k 與與 ggNaNa 是用可變電阻來說明細胞膜的是用可變電阻來說明細胞膜的

特性，亦即對鉀與鈉離子來說，進出細胞特性，亦即對鉀與鈉離子來說，進出細胞膜的難易度是會改變的膜的難易度是會改變的

圖 1.8 ：軸突的細胞膜電位之等效電路。


• VVmm 代表軸突的細胞膜電位差，而代表軸突的細胞膜電位差，而 EEKK 、、 EEClCl 、和、和 EENaNa 代表由代表由 Nernst Nernst 方程式所推導出來的細胞膜方程式所推導出來的細胞膜電位電位 [1][1] ，所謂的，所謂的 Nernst Nernst 方程式定義如下：方程式定義如下：

其中，其中， R R 是氣體常數，是氣體常數， T T 為絕對溫度，為絕對溫度， z z 為為價電子數，價電子數， F F 是法拉第常數，是法拉第常數， IonIonoo 是細胞膜外是細胞膜外的離子濃度，的離子濃度， IonIonii 是細胞膜內的離子濃度。是細胞膜內的離子濃度。

ERT

zF

Ion

Ionko

i

( ) ln( )

1.3.21.3.2 神經元之連接模式神經元之連接模式 (1)(1) • 發散發散 (divergent) (divergent) 型型：「傳入型神經元」：「傳入型神經元」 (afferent (afferent

neurons) neurons) 採取此種發散型模式，以便將所獲得之資訊，採取此種發散型模式，以便將所獲得之資訊，以平行之方式快速地傳達至大腦。以平行之方式快速地傳達至大腦。

圖 1.7 ：神經元的連接模式：發散型。

1.3.21.3.2 神經元之連接模式神經元之連接模式 (2)(2)

• 收斂收斂 (convergent) (convergent) 型型：大致上，所謂的「輸出型神經：大致上，所謂的「輸出型神經元」元」 (efferent neurons) (efferent neurons) 與神經末稍之間的連接方式是與神經末稍之間的連接方式是屬於此種模式。屬於此種模式。

圖 1.8 ：神經元的連接模式：收斂型。

1.3.21.3.2 神經元之連接模式神經元之連接模式 (3)(3)• 鏈接及迴路鏈接及迴路 (chains and loops) (chains and loops) 型型：大腦裏的神經元為：大腦裏的神經元為

了處理傳送而來的複雜資訊，發展出這種複雜的連接了處理傳送而來的複雜資訊，發展出這種複雜的連接模式，其中有正迴授與負迴授等情形發生。模式，其中有正迴授與負迴授等情形發生。

圖 1.9 ：神經元的連接模式：鏈接及迴路型。

範例範例 1.11.1 ：神經元的連接方式：神經元的連接方式 • (1)(1) 當四個突觸同時被激發時，四個突觸所產生的電位總合並未超過激發當四個突觸同時被激發時，四個突觸所產生的電位總合並未超過激發

此神經元的閥值，因此神經元不被激發，如圖此神經元的閥值，因此神經元不被激發，如圖 1.10(b)1.10(b) 所示；所示；• (2)(2) 當四個突觸被激發的順序為：當四個突觸被激發的順序為： DD ，， CC ，， BB ，與，與 AA 時，四個突觸所產時，四個突觸所產

生的電位總合超過激發此神經元的閥值，因此神經元處於激發狀態，如生的電位總合超過激發此神經元的閥值，因此神經元處於激發狀態，如圖圖 1.10(c)1.10(c) 所示。所示。

圖 1.10 ：本圖摘自： M. Arbib, The Metaphorical Brain : Neural Networks and Beyond, John Wiley & Sons, Inc., 1989.)

1.41.4 類神經元的模型類神經元的模型 (1)(1)• 個別的神經元透過是否激發出活化電位的機制，使其個別的神經元透過是否激發出活化電位的機制，使其

本身就具備處理部份資訊的能力本身就具備處理部份資訊的能力。。 • 至於我們要如何向生物神經網路借鏡呢？當然，第一至於我們要如何向生物神經網路借鏡呢？當然，第一步是設法模仿單一神經元的運作模式步是設法模仿單一神經元的運作模式。。

圖 1.11 ：類神經元之數學模型。

1.41.4 類神經元的模型類神經元的模型 (2)(2)

• 鍵結值鍵結值 (synaptic weights)(synaptic weights) ：突觸的效果實際上：突觸的效果實際上可分為兩種：可分為兩種：

(1) (1) 刺激性的突觸刺激性的突觸：此種突觸會使得被連接的神：此種突觸會使得被連接的神經元容易被激化，因而導致活化電位的產生。經元容易被激化，因而導致活化電位的產生。

(2) (2) 抑制性的突觸抑制性的突觸：此種突觸會使得被連接的神：此種突觸會使得被連接的神經元的細胞膜電位值，變得更負經元的細胞膜電位值，變得更負 ((即遠離閥值即遠離閥值 )) ，，因而導致此神經元不容易產生活化電位。因而導致此神經元不容易產生活化電位。

• 正值正值的鍵結值代表是的鍵結值代表是刺激性的突觸刺激性的突觸，而，而抑制性抑制性的突觸的突觸則由則由負值負值的鍵結值所代表，另外，突觸的鍵結值所代表，另外，突觸影響性的大或小，則與鍵結值的絕對值成正比。影響性的大或小，則與鍵結值的絕對值成正比。

1.41.4 類神經元的模型類神經元的模型 (3)(3)• 加法單元加法單元：產生於樹突頂端的「層次電位」，會從四面八方朝向：產生於樹突頂端的「層次電位」，會從四面八方朝向軸突丘傳遞，此時軸突丘會執行「空間及時域」軸突丘傳遞，此時軸突丘會執行「空間及時域」 (spatio-temporal) (spatio-temporal) 的整合處理，這是個十分複雜的過程，在簡單的類神經元的模型的整合處理，這是個十分複雜的過程，在簡單的類神經元的模型中，我們通常以一個加法單元來簡化此過程；而複雜一點的，可中，我們通常以一個加法單元來簡化此過程；而複雜一點的，可以用一個「有限脈衝響應濾波器」以用一個「有限脈衝響應濾波器」 (finite impulse response filter) (finite impulse response filter)

來近似此過程。來近似此過程。

圖 1.5: 時空性相加


• 活化函數活化函數 (activation function)(activation function) ：在軸突丘部位：在軸突丘部位所呈現的整體細胞膜電位，若超過閥值，則所呈現的整體細胞膜電位，若超過閥值，則「活化電位」脈衝會被激發，整個傳遞而來的「活化電位」脈衝會被激發，整個傳遞而來的資訊在這裏被調變資訊在這裏被調變 (modulation) (modulation) 處理，軸突丘處理，軸突丘將資訊編碼於將資訊編碼於 (1)(1)活化電位的是否產生及活化電位的是否產生及 (2)(2)活化電位脈衝的產生頻率中。因此，我們將經活化電位脈衝的產生頻率中。因此，我們將經過權重相加的輸入，透過活化函數的轉換，使過權重相加的輸入，透過活化函數的轉換，使得類神經元的輸出代表短期間之平均脈衝頻率。得類神經元的輸出代表短期間之平均脈衝頻率。

1.41.4 類神經元的模型類神經元的模型 (4)(4)我們可以用以下的數學式子來描述類神經元的輸入輸出關係：我們可以用以下的數學式子來描述類神經元的輸入輸出關係：

p

iijij xwu

1

其中代表第 i 維輸入至第 j 個類神經元的鍵結值；代表這個類神經元的閥值；代表 p 維的輸入；代表第 j 個類神經元所獲得的整體輸入量，其物理意義是代表位於軸突丘的細胞膜電位；代表活化函數；則代表了類神經元的輸出值，也就是脈衝頻率。

jiw

jT

pxxx ),,( 1 ju

jy

(1.3)

(1.4) jjj uy


如果我們用如果我們用代表代表，則上述式子可改寫為：，則上述式子可改寫為：

(1.5)(1.5)

及及(1.6)(1.6)

其中和其中和。。

xwxwv Tj

p

iijij

0

jj vy

Tjpjjj wwww ],,,[ 10

Tpxxxx ],,,,1[ 21

0jw j

1.41.4 類神經元的模型類神經元的模型 (6)(6)所用的活化函數型式，常見的有以下四種型式：所用的活化函數型式，常見的有以下四種型式： • 嚴格限制函數嚴格限制函數 (hard limiter or threshold function)(hard limiter or threshold function) ：：

• 區域線性函數區域線性函數 (piecewise linear function)(piecewise linear function) ：：圖 1.12 ：嚴格限制函數。

圖 1.13 ：區域線性函數。

00

01)(

vif

vifv

2

12

1

0

1

)(

vvif

vvvifcv

vvif

v

1.41.4 類神經元的模型類神經元的模型 (7)(7)• ss-- 字型函數字型函數 (sigmoid function)(sigmoid function) ：：

• 高斯函數高斯函數 (Gaussian function)(Gaussian function) ：：圖 1.14 ： s-字型函數。

圖 1.15 ：高斯函數。

)exp(1

1)(

cvv

)tanh()( cvv

2

2

2exp)(

v

v

1.51.5 網路架構網路架構 (1)(1)• 單層前饋網路單層前饋網路 (single-layer feedforward networks)(single-layer feedforward networks) ：：

如圖如圖 1.161.16 所示，整個網路由一層具有處理資訊能力的所示，整個網路由一層具有處理資訊能力的類神經元所組成，通常此種網路的功能性較差，只能類神經元所組成，通常此種網路的功能性較差，只能處理線性的問題。處理線性的問題。

圖 1.16 ：單層前饋網路。

1.51.5 網路架構網路架構 (2)(2)• 多層前饋網路多層前饋網路 (multi-layer feedforward networks)(multi-layer feedforward networks) ：：

根據鍵結的聯接方式，此種網路又可細分為根據鍵結的聯接方式，此種網路又可細分為 (1)(1) 部份部份連結連結 (partially connected) (partially connected) 網路網路，如圖，如圖 1.17(a)1.17(a) 或或 (2)(2)完全連結完全連結 (fully connected) (fully connected) 網路網路，如圖，如圖 1.17(b)1.17(b) ，此種，此種網路可處理複雜性高的問題。網路可處理複雜性高的問題。

圖 1.17 ：多層前饋網路： (a) 部份連結； (b) 完全連結。

1.51.5 網路架構網路架構 (3)(3)• 循環式網路循環式網路 (recurrent networks)(recurrent networks) ：：此網路的輸出會透此網路的輸出會透

過另一組鍵結值，聯結於網路的某處過另一組鍵結值，聯結於網路的某處 (( 如輸入層或隱如輸入層或隱藏層藏層 )) 而迴授至網路本身。而迴授至網路本身。

圖 1.18 ：循環式網路。

1.51.5 網路架構網路架構 (4)(4)

• 晶格狀網路晶格狀網路 (lattice networks)(lattice networks) ：：基本上，此種網路屬基本上，此種網路屬於前饋型網路，只不過其輸出層的類神經元是以矩陣方於前饋型網路，只不過其輸出層的類神經元是以矩陣方式所排列。式所排列。

圖 1.19 ：二維的 33 之晶格狀網路。

1.61.6 學習與記憶學習與記憶 (1)(1)

• 「學習」「學習」 (learning)(learning) 是自然生物或人造系統之所以有智慧的一個是自然生物或人造系統之所以有智慧的一個極為重要的特徵。極為重要的特徵。

• 學習學習與與記憶記憶是密不可分的，因為有學習行為的發生才導致記憶的是密不可分的，因為有學習行為的發生才導致記憶的形成；能夠記憶才產生學習的效果。人類的記憶有以下的一些特形成；能夠記憶才產生學習的效果。人類的記憶有以下的一些特點：點：

• 人類的記憶屬於人類的記憶屬於分散式分散式 (distributed)(distributed) 的儲存，並且是屬於的儲存，並且是屬於聯想式聯想式的記憶的記憶 (associate memory)(associate memory) 。。

• 人類易於記憶，但卻難於人類易於記憶，但卻難於回想回想 (recall)(recall) 。。 • 人類的記憶，根據儲存的期間長短又分為三種人類的記憶，根據儲存的期間長短又分為三種：： (1) (1) 立即計憶立即計憶

(immediate memory) (immediate memory) ；； (2) (2) 短程記憶短程記憶 (short-term memory) (short-term memory) ；； (3) (3) 長程記憶長程記憶 (long-term memory)(long-term memory) 。。


• 短程記憶短程記憶 :: 負責的就是將當時的外界狀態，經負責的就是將當時的外界狀態，經過某種處理後暫存起來，隨著時間的增長而逐過某種處理後暫存起來，隨著時間的增長而逐漸消逝。根據生物神經學的理論，短程記憶是漸消逝。根據生物神經學的理論，短程記憶是動態的動態的 (dynamic)(dynamic) ，而且不斷地在彼此聯結，而且不斷地在彼此聯結的神經元間以反覆地產生脈衝的型式表現。的神經元間以反覆地產生脈衝的型式表現。

• 長程記憶長程記憶 : : 這種記憶是屬於靜態的這種記憶是屬於靜態的 (static)(static) ，，並且是以神經細胞間的聯結強度、聯結方式、並且是以神經細胞間的聯結強度、聯結方式、及每個神經細胞本身閥值大小不同的方式來儲及每個神經細胞本身閥值大小不同的方式來儲存記憶。存記憶。


• 根據神經解剖學家的研究，發現剛出生的老鼠，平均每個根據神經解剖學家的研究，發現剛出生的老鼠，平均每個神經元有大量的突觸與其它神經元有所聯結，而年老的老神經元有大量的突觸與其它神經元有所聯結，而年老的老鼠卻擁有較少的突觸，因為學習過程會逐漸確定神經元間鼠卻擁有較少的突觸，因為學習過程會逐漸確定神經元間的聯結方式。的聯結方式。

• 基本上，短程記憶與長程記憶不是彼此毫無干涉地平行運基本上，短程記憶與長程記憶不是彼此毫無干涉地平行運作，而是互相交替地連續運作。作，而是互相交替地連續運作。

• 所有的記憶都是以短程記憶開始，然後透過記憶力的集中所有的記憶都是以短程記憶開始，然後透過記憶力的集中和複誦才能形成長程記憶。和複誦才能形成長程記憶。

• 當我們正記起某件事情時，腦中應該有一些與此記憶相關當我們正記起某件事情時，腦中應該有一些與此記憶相關的神經元正在活化。的神經元正在活化。

• 許多臨床實驗發現內視丘許多臨床實驗發現內視丘 (medial thalamus) (medial thalamus) 負責記憶負責記憶類型的最初統合，專司將感覺的輸入訊息傳達至皮質。。類型的最初統合，專司將感覺的輸入訊息傳達至皮質。。

1.71.7 類神經網路的學習規則類神經網路的學習規則 (1)(1)

學習的策略學習的策略 (strategies) (strategies) 可分為以下幾種：可分為以下幾種：• 機械式的背誦學習機械式的背誦學習 (rote learning) (rote learning) 。。 • 指令式的學習指令式的學習 (learning by instruction) (learning by instruction) 。。 • 類推式的學習類推式的學習 (learning by analogy) (learning by analogy) 。。 • 歸納式的學習歸納式的學習 (learning by induction)(learning by induction) ：此種學習：此種學習

又可分為以下又可分為以下三三種方式：種方式： (1) (1) 從範例中學習從範例中學習 (learning from examples)(learning from examples) ：又稱為：又稱為監督式監督式

(supervise) (supervise) 學習學習。。學習者從一組含有正例學習者從一組含有正例 (positive (positive examples) examples) 與反例與反例 (negative examples) (negative examples) 的學習範例的學習範例中，歸納出一個能夠解釋範例的整體概念中，歸納出一個能夠解釋範例的整體概念 (concept)(concept) 。。


(2) (2) 從觀察及發現中學習從觀察及發現中學習 (learning from observation and (learning from observation and discovery)discovery) ：又稱為：又稱為非監督式非監督式 (unsupervised) (unsupervised) 學習學習。。缺乏缺乏所謂的「加標過的資料」，這種學習法需要學習者自行去所謂的「加標過的資料」，這種學習法需要學習者自行去發掘出資料本身的重要特徵或結構發掘出資料本身的重要特徵或結構。。

(3) (3) 增強式學習增強式學習 (reinforcement learning)(reinforcement learning) ：：比非監比非監督式學習法又多了一點資訊。學習者在學習的過程中會和督式學習法又多了一點資訊。學習者在學習的過程中會和環境環境有一連串的互動，自行採掘適當的措施來因應刺激，有一連串的互動，自行採掘適當的措施來因應刺激，接著會有所謂的「評論家接著會有所謂的「評論家 (critic)(critic) 」來評斷剛才學習者自」來評斷剛才學習者自行因應的措施是否恰當？此評論就是所謂的行因應的措施是否恰當？此評論就是所謂的增強式信號增強式信號 (reinforcement signal) (reinforcement signal) 。大體說來，增強式學習。大體說來，增強式學習法在學習的過程中會借助評論家所提供的增強式信號，來法在學習的過程中會借助評論家所提供的增強式信號，來調整學習者因應刺激的措施，以便效能指標調整學習者因應刺激的措施，以便效能指標 (index of (index of performance) performance) 達到極大化。達到極大化。


我們以數學式來描述通用型的學習規則我們以數學式來描述通用型的學習規則

其中其中及分別代表原先的及調整後的鍵及分別代表原先的及調整後的鍵結值；結值；

代表此類神經元受到刺激後，為了達成代表此類神經元受到刺激後，為了達成學習效果，所必須採取的改變量。學習效果，所必須採取的改變量。

此改變量此改變量，通常是，通常是 (1) (1) 當時的輸入當時的輸入、、 (2)(2) 原先的鍵結值原先的鍵結值、及、及 (3) (3) 期望的輸出值期望的輸出值 (desired (desired output) output) ddii ( ( 若屬於非監督式學習，則無此項若屬於非監督式學習，則無此項 ) ) 的某種函數關的某種函數關係係。。

)()()1( nwnwnw jijiji

)(nw ji )1( nw ji

)(nw ji

)(nw ji )(nxi)(nw ji

1.7.11.7.1 Hebbian Hebbian 學習規則學習規則 • 神經心理學家神經心理學家 (neuropsychologist) Hebb (neuropsychologist) Hebb 在他的在他的

一本書中寫著一本書中寫著 [7][7]

當神經元當神經元 A A 的軸突與神經元的軸突與神經元 B B 之距離，近到足以激發它的地之距離，近到足以激發它的地步時，若神經元步時，若神經元 A A 重複地或持續地扮演激發神經元重複地或持續地扮演激發神經元 B B 的角色，的角色，則某種增長現象或新陳代謝的改變，會發生在其中之一或兩個神則某種增長現象或新陳代謝的改變，會發生在其中之一或兩個神經元的細胞上，以至於神經元經元的細胞上，以至於神經元 A A 能否激發神經元能否激發神經元 B B 的有效性會的有效性會被提高。被提高。

• 因此我們得到以下的學習規則：因此我們得到以下的學習規則： )(),()()1( nxnyFnwnw ijjiji

這種 Hebbian 學習規則屬於前饋 (feedforward) 式的非監督學習規則。以下是最常使用的型式：

)()()()1( nxnynwnw ijjiji

(1.14)

(1.15)

1.7.21.7.2 錯誤更正法則錯誤更正法則 (1)(1)

• 錯誤更正法則的基本概念是，若類神經元的真實輸出值錯誤更正法則的基本概念是，若類神經元的真實輸出值與期望的目標值與期望的目標值不同時，則兩者之差，定義不同時，則兩者之差，定義

為為誤差信號誤差信號：：

• 我們可以選擇一特定的「代價函數」我們可以選擇一特定的「代價函數」 (cost function) (cost function) 來來反應出誤差信號的物理量；反應出誤差信號的物理量；

• 錯誤更正法則的終極目標，就是調整鍵結值使得代價函錯誤更正法則的終極目標，就是調整鍵結值使得代價函數值越來越小，亦即使類神經元的真實輸出值，越接近數值越來越小，亦即使類神經元的真實輸出值，越接近目標值越好，一般都採用梯度坡降法目標值越好，一般都採用梯度坡降法 (gradient decent (gradient decent method) method) 來搜尋一組鍵結值，使得代價函數達到最小。來搜尋一組鍵結值，使得代價函數達到最小。

)()()( nyndne jjj

)(ny j )(nd j

1.7.21.7.2 錯誤更正法則錯誤更正法則 (2)(2)一、一、 Windrow-Hoff Windrow-Hoff 學習法學習法代價函數定義為：代價函數定義為：

因此根據梯度坡降法可得：因此根據梯度坡降法可得：

此學習規則，有時候亦被稱為最小均方演算法此學習規則，有時候亦被稱為最小均方演算法 (least square error algorithm)(least square error algorithm) 。。

2)()(21

)( j

jjj

j nvndneE

)()(

nwE

nwj

j

)()()()( nxnxnwnd Tjj

)()()( nxnvnd jj

(1.18) 2)()()(

21 j

Tjj nxnwnd

(1.19)

1.7.21.7.2 錯誤更正法則錯誤更正法則 (3)(3)二、二、 Delta Delta 學習法學習法

使用此種學習法的類神經網路，其活化函數都是採用連續且可微分的函數型式，而代價使用此種學習法的類神經網路，其活化函數都是採用連續且可微分的函數型式，而代價函數則定義為：函數則定義為：

因此根據梯度坡降法可得：因此根據梯度坡降法可得：

實際上，若實際上，若時，則時，則 Widrow-Hoff Widrow-Hoff 學習可視為學習可視為 Delta Delta 學習法的一項特例。學習法的一項特例。

2)()(21

)( j

jjj

j nyndneE

)()(

nwE

nwj

j

(1.20)

(1.21)

)()(')()( nxnvnond jjj

)()( nvnv jj

1.7.31.7.3 競爭式學習法競爭式學習法 • 競爭式學習法有時又稱為「贏者全拿」競爭式學習法有時又稱為「贏者全拿」 (winner-take-(winner-take-

all) all) 學習法。學習法。步驟一：得勝者之篩選步驟一：得勝者之篩選假設在此網路中有假設在此網路中有 KK 個類神經元，如果個類神經元，如果

那麼第那麼第 kk 個類神經元為得勝者。個類神經元為得勝者。步驟二：鍵結值之調整步驟二：鍵結值之調整

)()(max)()(,,2,1

nxnwnxnw Tj

Kj

Tk

kjif

kjifnwnxnw j

j0

)()()(

(1.22)

(1.23)

1.81.8結語結語 • 首先簡單地介紹了生物神經網路，接下來引進首先簡單地介紹了生物神經網路，接下來引進

了模仿生物神經元運作模式的類神經元模型，了模仿生物神經元運作模式的類神經元模型，以及依據此類神經元模型所建立之網路架構。以及依據此類神經元模型所建立之網路架構。

• 了解生物神經元如何處理資訊之後，在我了解生物神經元如何處理資訊之後，在我們心理會不會有以下這些問題：們心理會不會有以下這些問題：(1) (1) 我們有所謂的自由意志嗎？還是只由一堆我們有所謂的自由意志嗎？還是只由一堆神經元所構成的狀態機神經元所構成的狀態機 (state machine) (state machine) 而已？而已？(2) (2) 意志扮演何種角色以及如何去激發神經元意志扮演何種角色以及如何去激發神經元呢？呢？。。

類神經網路類神經網路

典型腦神經元圖解典型腦神經元圖解

神經核（ soma）：處理機構

神經軸（ axon）：輸送機構

神經突（ synapses）：連結機構

神經樹（ dendrites）輸出入機構

定義定義• 類神經網路是一種計算系統，包括軟體與硬體，類神經網路是一種計算系統，包括軟體與硬體，它使用大量簡單的相連人工神經元來模仿生物它使用大量簡單的相連人工神經元來模仿生物神經網路的能力，像是處理模糊的資訊、學習神經網路的能力，像是處理模糊的資訊、學習能力、歸納推廣能力等。人工神經元是腦神經能力、歸納推廣能力等。人工神經元是腦神經元的簡單模擬，它從外界環境或其他人工神經元的簡單模擬，它從外界環境或其他人工神經元取得資訊，透過非常簡單的運算，並輸出其元取得資訊，透過非常簡單的運算，並輸出其結果到外界環境或者其他人工神經元。結果到外界環境或者其他人工神經元。

類神經元類神經元模型模型

ijW

:

X2

X1

Xn

: :

X i θ i Y j

f

net j

轉移函數

輸出訊號

處理單元淨值

輸入訊號

鏈結加權值

閥值

1jW

W 2j

Wnj

f ( Σ WijXi – θj ) = Yj

類神經網路模式的基本架構類神經網路模式的基本架構

單層類神經網路

Wi1

X ‧‧‧‧

X1

X2

Xi

‧‧‧‧

W11

W22

Wij

‧‧‧‧

Y1

Y2

Yj

‧‧‧‧

其他處理單元輸出

網路連結

集成函數 I

集成函數值

作用函數 ne

t作用函數值

轉換函數 Y

處理單元輸出

X W f1 f2 f3

11 、處理單元、處理單元 (Processing Element(Processing Element))

22 、層、層 (Layer)(Layer)

• 若干個具若干個具相同作用相同作用的處理單元集合成「層」，的處理單元集合成「層」，層本身也有三種作用：層本身也有三種作用：– 正規化輸出正規化輸出：：目的在於將同一層中的處理單元的原始輸出值所組成的向量目的在於將同一層中的處理單元的原始輸出值所組成的向量加以正規化，成為單位長度向量後，再作為「層」的輸出。加以正規化，成為單位長度向量後，再作為「層」的輸出。

– 競爭化輸出：競爭化輸出：目的在於將同一層中的處理單元的原始輸出值所組成的向量中，目的在於將同一層中的處理單元的原始輸出值所組成的向量中，選擇一個或若干個最強值的處理單元，令其值為選擇一個或若干個最強值的處理單元，令其值為 11 ，其餘為，其餘為 00後，再作為「層」的輸出。這些輸出值為一的處理單元稱優勝後，再作為「層」的輸出。這些輸出值為一的處理單元稱優勝單元單元 (winner)(winner) 。。

– 競爭化學習：競爭化學習：目的在於將同一層中的處理單元的原始輸出值所組成的向量中，目的在於將同一層中的處理單元的原始輸出值所組成的向量中，選擇一個或若干個最強值的處理單元選擇一個或若干個最強值的處理單元 (( 優勝單元優勝單元 )) ，網路將只，網路將只調整與優勝單元相連的下層網路連結。調整與優勝單元相連的下層網路連結。

層層 (Layer)(Layer)

33 、網路、網路 (Network)(Network)

• 若干個具若干個具不同作用不同作用的層集合成網路，網路本身也有二種作用：的層集合成網路，網路本身也有二種作用：– 學習過程學習過程 ((Learning)Learning) ：：網路依學習演算法網路依學習演算法 ,, 從範例中學從範例中學

習習 ,, 以調整網路連結加權值的過程。以調整網路連結加權值的過程。 a.a.監督式學習監督式學習

b.b. 無監督式學習無監督式學習 c.c.聯想式學習聯想式學習

– 回想過程回想過程 ((Recalling)Recalling) ：：網路依回想演算法網路依回想演算法 ,, 以輸入資以輸入資料決定網路輸出資料的過程。料決定網路輸出資料的過程。

a.a.監督式回想監督式回想 b.b. 無監督式回想無監督式回想 c.c.聯想式回想聯想式回想

類神經網路模式的分類類神經網路模式的分類

• 依學習策略依學習策略• 依網路架構依網路架構

類神經網路分類類神經網路分類 -- 依學習策略依學習策略

• 監督式學習網路監督式學習網路 (Supervised learning (Supervised learning network)network)– 具有自我學習的能力，並經由學習過程調整網路中具有自我學習的能力，並經由學習過程調整網路中的連結的權重，從問題領域中取得訓練範例的連結的權重，從問題領域中取得訓練範例 (( 包括包括輸入變數值及輸出變數值輸入變數值及輸出變數值 )) ，並從中學習輸入變數，並從中學習輸入變數與輸出變數的內在對映規則，以應用於新的範例與輸出變數的內在對映規則，以應用於新的範例(( 只有輸入變數值，而需推論輸出變數值的應用只有輸入變數值，而需推論輸出變數值的應用 )) 。。

– 感知機網路，倒傳遞網路，機率神經網路，學習向感知機網路，倒傳遞網路，機率神經網路，學習向量量化網路，反傳遞網路量量化網路，反傳遞網路

– 應用應用 :: 診斷、決策、預測診斷、決策、預測 (( 函數合成函數合成 ))

• 無監督式學習網路無監督式學習網路 (Unsupervised (Unsupervised learning network)learning network)– 相對於監督式學習網路而言，必須有明確的輸入與輸相對於監督式學習網路而言，必須有明確的輸入與輸出範例資料訓練網路，然無監督式學習只需要從問題出範例資料訓練網路，然無監督式學習只需要從問題領域中取得輸入變數值範例資料，並從中學習範例的領域中取得輸入變數值範例資料，並從中學習範例的內在聚類規則，以應用於新的範例內在聚類規則，以應用於新的範例 (( 有輸入變數值，有輸入變數值，而需推論它與那些訓練範例屬同一聚類的應用而需推論它與那些訓練範例屬同一聚類的應用 )) 。。

– 自組織映射圖網路自組織映射圖網路自適應共振理論網路自適應共振理論網路– 應用應用 :: 聚類聚類



• 聯想式學習網路聯想式學習網路 (Associate learning (Associate learning network)network)– 所謂聯想性記憶所謂聯想性記憶 (Associative Memory)(Associative Memory) 應用問題是應用問題是在於如何去設計一個系統來記憶一組記載著輸入外界刺激在於如何去設計一個系統來記憶一組記載著輸入外界刺激和其系統輸出值之間關係的供學習用的範例。也就是從問和其系統輸出值之間關係的供學習用的範例。也就是從問題領域中取得訓練範例題領域中取得訓練範例 (( 狀態變數值狀態變數值 )) ，並從中學習範，並從中學習範例的內在記憶規則，以應用於新的案例例的內在記憶規則，以應用於新的案例 (( 只有不完整的狀只有不完整的狀態變數值，而需推論其完整的狀態變數值的應用態變數值，而需推論其完整的狀態變數值的應用 )) 。。

– 霍普菲爾網路霍普菲爾網路雙向聯想記憶網路雙向聯想記憶網路 – 應用應用 :: 雜訊過濾、資料擷取雜訊過濾、資料擷取


• 最適化應用網路最適化應用網路 (Optimization (Optimization application network)application network)– 類神經網路除了「學習」應用外，還有一類特殊應類神經網路除了「學習」應用外，還有一類特殊應

用用——最適化應用最適化應用︰︰對一問題決定其設計變數值，使其對一問題決定其設計變數值，使其在滿足設計限制下，使設計目標達最佳狀態的應用。在滿足設計限制下，使設計目標達最佳狀態的應用。設計應用與排程應用屬之。此類應用的網路架構大設計應用與排程應用屬之。此類應用的網路架構大都與聯想式學習網路的架構相似。都與聯想式學習網路的架構相似。

– 霍普菲爾霍普菲爾 -- 坦克網路坦克網路退火神經網路退火神經網路 – 應用應用 :: 設計、排程設計、排程

類神經網路分類類神經網路分類 -- 依網路架構依網路架構

«e¦V¦¡¬[ºc ¦^õX¦¡¬[ºc ¦^õX¦¡¬[ºc ¦^õX¦¡¬[ºc

類神經網路分類類神經網路分類 -- 依網路架構依網路架構

• 前向式架構前向式架構 ::–感知機網路感知機網路 –倒傳遞網路倒傳遞網路–機率神經網路機率神經網路–學習向量量化網路學習向量量化網路–反傳遞網路反傳遞網路 –雙向聯想記憶網路雙向聯想記憶網路

• 回饋式架構回饋式架構 :: –波茲曼機波茲曼機–時空樣本識別網路時空樣本識別網路–新認知機新認知機–自適應共振理論網自適應共振理論網路路

–霍普菲爾網路霍普菲爾網路–雙向聯想記憶網路雙向聯想記憶網路

特性特性• 嚴謹的數學基礎嚴謹的數學基礎

類神經網路透過嚴謹的數學運算與微積分的應類神經網路透過嚴謹的數學運算與微積分的應用作為調整網路參數的依據。用作為調整網路參數的依據。

• 平行處理的本質平行處理的本質類神經網路對於資訊的處理方式是採取大量的類神經網路對於資訊的處理方式是採取大量的處理單處理單

元元 (( 神經元神經元 )) 平行處理。平行處理。• 分散式聯想記憶分散式聯想記憶

類神經網路是靠連結兩個不同的處理單元間的類神經網路是靠連結兩個不同的處理單元間的權重值或連結強度來記憶，是分散式的，而且權重值或連結強度來記憶，是分散式的，而且處理單元間是聯想性的。處理單元間是聯想性的。

特性特性• 容忍錯誤的能力容忍錯誤的能力

由於是分散式的記憶模式，所以部分連結的損由於是分散式的記憶模式，所以部分連結的損壞，不足以影響整個網路的功能。壞，不足以影響整個網路的功能。

• 自我調適的能力自我調適的能力在不穩定的環境下，類神經網路可調整處理單在不穩定的環境下，類神經網路可調整處理單元間權重值，以降低輸入與輸出間的差距。元間權重值，以降低輸入與輸出間的差距。

• 非線性非線性類神經網路是模仿人類神經網路而設計的，它類神經網路是模仿人類神經網路而設計的，它的基礎是非線性的，所以對非線性的問題有很的基礎是非線性的，所以對非線性的問題有很強的求解能力。強的求解能力。

倒傳遞網路倒傳遞網路(Back-propagation Network, (Back-propagation Network, BPN)BPN)

韋伯斯韋伯斯 (P.Werbos)(P.Werbos) 於於 19741974 年年在其博士論文中提出了隱藏層的學習演在其博士論文中提出了隱藏層的學習演算法，這是最早的倒傳遞類神經網路模算法，這是最早的倒傳遞類神經網路模式，他用這種模式作經濟預測方面的問式，他用這種模式作經濟預測方面的問題。題。

網路架構網路架構

i

j

k

l

i

j

k

l

i

j

k

輸入層隱藏層輸出層

X1

X1

X1

X1

Y3

Y1

Y2

WikVii

網路架構網路架構• 輸入層輸入層

用以表現網路的輸入變數，其處理單元數依問題而定。用以表現網路的輸入變數，其處理單元數依問題而定。使用線性轉換函數，即使用線性轉換函數，即 f(x)=xf(x)=x 。。

• 隱藏層隱藏層用以表現輸入處理單元間的交互影響，其處理單元數用以表現輸入處理單元間的交互影響，其處理單元數目並無標準方法可以決定，經常須以試驗方式決定其目並無標準方法可以決定，經常須以試驗方式決定其最佳數目。使用非線性轉換函數。網路可以不只一層最佳數目。使用非線性轉換函數。網路可以不只一層隱藏層，也可以沒有隱藏層。隱藏層，也可以沒有隱藏層。

• 輸出層輸出層用以表現網路的輸出變數，其處理單元數目一問題而用以表現網路的輸出變數，其處理單元數目一問題而定。使用非線性轉換函數。定。使用非線性轉換函數。

網路演算法網路演算法

• 訓練範例的輸入處理單元的輸入值訓練範例的輸入處理單元的輸入值 {X}{X} ，，計算隱藏層隱藏處理單元的輸出值計算隱藏層隱藏處理單元的輸出值 {H}{H} 如如下：下：

• 隱藏層隱藏處理單元的輸出值隱藏層隱藏處理單元的輸出值 {H}{H} ，計算，計算輸出層處理單元的推論輸出值輸出層處理單元的推論輸出值 {Y}{Y} 如下：如下：

)()( kiikkk XWfnetfH

)()( jkkjjj HWfnetfY

• 誤差函數誤差函數 ::

• 最陡坡降法最陡坡降法 (the gradient steepest (the gradient steepest descent method):descent method):

:: 學習速率，控制每次權值修學習速率，控制每次權值修改的步幅改的步幅

2)()2/1( jj YTE

WEW

網路演算法網路演算法

決定參數決定參數

•學習速率學習速率•隱藏層類神經元數目隱藏層類神經元數目•隱藏層層數隱藏層層數

學習速率學習速率（（ learning ratlearning ratee ））• 依據經驗取依據經驗取 0.50.5 或或 0.10.1──11 之間的值作為之間的值作為學習速率，大多可得到良好的收斂性。學習速率，大多可得到良好的收斂性。

隱藏層類神經元數目隱藏層類神經元數目• 問題難易性問題難易性 ::

簡單問題：簡單問題： (( 平均法平均法 ))

隱藏層單元數目隱藏層單元數目 == （輸入層單元數（輸入層單元數 ++ 輸出層單輸出層單元數元數 )/2>=4)/2>=4

一般問題：一般問題： (( 總和法總和法 ))

隱藏層單元數目隱藏層單元數目 == （輸入層單元數（輸入層單元數 ++ 輸出層單輸出層單元數元數 )>=8)>=8

困難問題：困難問題： (( 加倍法加倍法 ))

隱藏層單元數目隱藏層單元數目 == （輸入層單元數（輸入層單元數 ++ 輸出層輸出層單元數單元數 ))**2>=162>=16

• 問題雜訊高，隱藏層單元數目宜少。問題雜訊高，隱藏層單元數目宜少。• 問題複雜性高，即非線性、交互作用程問題複雜性高，即非線性、交互作用程度高，隱藏層單元數目宜多。度高，隱藏層單元數目宜多。

• 測試範例誤差遠高於訓練範例誤差，則測試範例誤差遠高於訓練範例誤差，則發生過度學習，隱藏層單元數目宜減少；發生過度學習，隱藏層單元數目宜減少；反之，宜增加。反之，宜增加。

隱藏層類神經元數目隱藏層類神經元數目

隱藏層層數隱藏層層數 • 通常隱藏層之數目為通常隱藏層之數目為 11 至至 22 層時，有最層時，有最好的收斂性質。好的收斂性質。

動態類神經網路動態類神經網路

Semaphorin-7A (Sema7A) Semaphorin-7A (Sema7A)

Architecture of DSNNArchitecture of DSNN

Virtual 3-D Cube Space

OutputSurface

InputSurface

Hidden Neurons

Ld


N2

N3

N1

N8

N7

N9

N4

Nn

X1

X2

Xx

Y1

Y2

Yy

N5 N6

wX1,2

wX1,1

wXx,1

w2,4

w2,1

w9,n

w4,Y1

wn,Yy

w1,Y1w1,4

... ...

InputLayer

HiddenLayer

OutputLayer

wXx,n

The Wavelet-based Neural Network ClassifierThe Wavelet-based Neural Network Classifier

Estimate Amplitude &Subtract Disturbance Waveform by the

Estimated Perfect Waveform

DisturbanceWaveform

Detection of Amplitude Irregular Disturbances

Wavelet Transforms

Detection of Impulsive Transient Disturbances

Dynamic Structural Neural Networks&

Detection of Harmonic Distortion and Voltage Flicker

Output Final Result of Detection

The Wavelet The Wavelet

• This work utilizes the hierarchical wavelet This work utilizes the hierarchical wavelet transform technique to extracting transform technique to extracting the time the time and frequency informationand frequency information by the by the Daubechies wavelet transformDaubechies wavelet transform with the with the 16-16-coefficientcoefficient filter. filter.

The four-scale hierarchical decomposition of G0(n).

The Neural Network ClassifierThe Neural Network Classifier

• The The detectiondetection and and extractionextraction of the features from of the features from the wavelet transform is then fed into the DSNN the wavelet transform is then fed into the DSNN for identifying the types of PQ variations. for identifying the types of PQ variations.

• The The inputsinputs of the DSNN are the of the DSNN are the standard standard derivationsderivations of the wavelet transform coefficients of of the wavelet transform coefficients of each level of hierarchical wavelet transform. each level of hierarchical wavelet transform.

• The The outputsoutputs of the DSNN are the of the DSNN are the types of types of disturbancesdisturbances along with its critical value. along with its critical value.

Wavelet TransformWavelet Transform

• Let Let ff((tt) denotes the original time domain signal. ) denotes the original time domain signal. The continuous wavelet transform is defined as The continuous wavelet transform is defined as follow: follow:

where where ψψ((tt) represents the mother wavelet, ) represents the mother wavelet, aa is the is the scale parameter, and scale parameter, and bb is the time-shift parameter. is the time-shift parameter.

1CWT ( , ) ( )f

t ba b f t dt

aa


• The mother wavelet The mother wavelet ψψ((tt) is a compact support function that ) is a compact support function that must satisfies the following condition: must satisfies the following condition:

• In order to satisfying the equation above, a wavelet is In order to satisfying the equation above, a wavelet is constructed so that it has a higher order of vanishing constructed so that it has a higher order of vanishing moments. A wavelet that has vanishing moments of order moments. A wavelet that has vanishing moments of order NN if if

for for pp = 0, 1, …, = 0, 1, …, NN-1 -1

( ) 0t dt

( ) 0pt t dt


• The distinct features of the DSNN:The distinct features of the DSNN:

tune itself and tune itself and adjust its learning capacityadjust its learning capacity. . • The structure of the The structure of the hidden layerhidden layer of the of the

network network must be reconfigurablemust be reconfigurable during the during the training process.training process.


• The The lengthlength of the edge of the of the edge of the virtual 3-D cube spacevirtual 3-D cube space is is defined as follows: defined as follows:

where where NN is the total initial number of neurons of the network, is the total initial number of neurons of the network, (10×(10×NN))33 is the space used for deploying the initial neurons, and is the space used for deploying the initial neurons, and ρρ is the space reserve factor for preserving extra space to place the new is the space reserve factor for preserving extra space to place the new generating neurons. generating neurons.

• Typically, Typically, ρρ is predetermined within is predetermined within an interval from an interval from 1.5 to 31.5 to 3, or the , or the interval can be set according to interval can be set according to experiments. experiments.

(10 )dL N

Model of NeuronsModel of Neurons

i owioInput Vector yi

InputNeuron

HiddenNeuron

yo

bo

i owijyi

HiddenNeuron i

HiddenNeuron j

yj

bj

Model of an input vector feeds into the hidden neurons

Model of signals propagation between two hidden neurons.

Model of NeuronsModel of Neurons

The output of the hidden neuron is given by The output of the hidden neuron is given by

where where yyoo is the output of neuron is the output of neuron oo, ,

CC denotes the index of the input neurons, denotes the index of the input neurons,

nn is the iteration number of the process, is the iteration number of the process,

wwioio is the synaptic weight between neuron is the synaptic weight between neuron ii and neuron and neuron oo, ,

yyii is the input of neuron is the input of neuron ii, ,

bboo is the bias of neuron is the bias of neuron oo, ,

φφoo is the activation function. is the activation function.

( ) ( ) ( ) ( )o o io i oi C

y n w n y n b n

Supervised Training of Output Supervised Training of Output NeuronsNeurons

The The output erroroutput error is defined by following is defined by following

where where eeoo is the error of output neuron is the error of output neuron oo, ,

ddoo is the target value of output neuron is the target value of output neuron oo, and , and

yyoo is the actual output value of output neuron is the actual output value of output neuron

oo..

( ) ( ) ( )o o oe n d n y n


• The The correction Δcorrection Δwwioio((nn)) can be calculated by: can be calculated by:

where Δwhere Δwwioio((nn) is the weighting correction value of ) is the weighting correction value of the connection from original terminal neuron the connection from original terminal neuron ii to to destination terminal neuron destination terminal neuron oo. . ηη is the learning rate, is the learning rate, ll is the refine direction indicator used for deciding is the refine direction indicator used for deciding the direction for weighting tuning. the direction for weighting tuning.

( ) ( ) ( )io o ow n l e n y n

1

1l

if

if

( ) 0

( ) 0o

o

y n

y n


• The The correction Δcorrection Δbboo((nn)) is defined as: is defined as:

where Δwhere Δbboo is the bias correction value of the output neuron is the bias correction value of the output neuron oo..

• The The weighting and bias are adjusted by following weighting and bias are adjusted by following formulasformulas: :

where where wwioio((nn+1) and +1) and bboo((nn+1) are the refined weighting and+1) are the refined weighting and

bias of output neuron bias of output neuron oo..

( ) ( )o ob n e n

( 1) ( )io io iow n w n w

( 1) ( )o o ob n b n b

Supervised Training of Hidden Supervised Training of Hidden NeuronsNeurons

• The updating the hidden neuron: The updating the hidden neuron:

where where ggii((nn) is the turning momentum) is the turning momentum of the hidden neurons to of the hidden neurons to the output neurons.the output neurons.

• The momentum of the hidden neuron The momentum of the hidden neuron ii is defined as: is defined as:

where where ssii((nn) is the momentum of the hidden neuron ) is the momentum of the hidden neuron ii, ,

ggjj((nn) is the turning momentum of the hidden neuron ) is the turning momentum of the hidden neuron jj connected to the hidden neuron connected to the hidden neuron ii, ,

CCii is the number of total connections of neuron is the number of total connections of neuron ii. .

( ) ( ) ( )i o og n e n y n

)()()( nynsng iij

( )( ) i

ii

g ns n

C ( ) ( ) ( )j i ig n s n y n


• The The correction weightingcorrection weighting is is

where Δwhere Δwwjiji(n) is the weighting correction value of the connection from (n) is the weighting correction value of the connection from

original neuron original neuron jj to destination terminal neuron to destination terminal neuron ii. .

• The The correction to correction to bbii((nn)) is is

where Δwhere Δbbii is the bias correction value of the hidden neuron is the bias correction value of the hidden neuron ii. .

( ) ( ) ( )ji i iw n l s n y n ( ) 01

( ) 01i

i

if y nl

if y n

( ) ( )i ib n s n


• The function of The function of tuning indicator for backward tuning indicator for backward neuronsneurons is described as below. is described as below.

where where ggjj((nn) is the tuning indicator for hidden ) is the tuning indicator for hidden

neuron neuron jj that connected to hidden neuron that connected to hidden neuron ii. .

( ) ( ) | ( ) |j i ig n s n y n

Flow chart of tuning of weighting and bias Flow chart of tuning of weighting and bias

of the output neuronof the output neuron

wi,o

OutputNeuron

oyo Error

TargetVector

do

eo

DelayDeltaTw

Tb

Δyo

bo

Δwi,o

Δbo

Dynamic StructureDynamic Structure

• creatingcreating new neurons and neural connectionsnew neurons and neural connections. . • The restructuring algorithm can produce or prune The restructuring algorithm can produce or prune

neurons and the connections between the neurons neurons and the connections between the neurons in an in an unsupervised mannerunsupervised manner..

N1

N2

N3

Nk

y1

y3

yk

Nnyn

1

2

3

Wnf1

Wnf2

Wnf3

Grow Direction

Dynamic StructureDynamic Structure

• The correction of the coordinate of the free connectors can The correction of the coordinate of the free connectors can be formulated as follow: be formulated as follow:

where Δ(where Δ(xxfnfn,,yyfnfn,,zzfnfn) is the correction of coordinate of the free ) is the correction of coordinate of the free

connector, connector, LLjj is the distance between the free connector and is the distance between the free connector and

the scanned neuron, and (the scanned neuron, and (xxjj,,yyjj,,zzjj) is the coordinate of the ) is the coordinate of the

scanned neuron. scanned neuron.

( , , ) , ,jfn fn fn j j j

j j

gx y z D x y z

L

1

1D

if

if

attraction

repulsion

Creating New NeuronsCreating New Neurons

• The probability The probability PP of a new neuron being created is of a new neuron being created is given by: given by:

where where eeii is the error of the output neuron is the error of the output neuron ii, ,

NNhh is the current number of the hidden neurons in the is the current number of the hidden neurons in the

middle layer. middle layer.

NNmaxmax_h_h is the maximum number of neurons that can be is the maximum number of neurons that can be

created in the virtual cube space. created in the virtual cube space.

max_

max_

h hi

i h

N NP e

N

Block Diagram of the DSNNBlock Diagram of the DSNN

Input Disturbance Types and Conditions

DisturbanceWaveform

RMS VoltageCalculation

Estimate the Amplitude of the Fundamental System Frequency

Sag?Swell?

Interrupt?

Sag Disturbance orSwell Disturbance orInterrupt Disturbance

Yes

Wavelet Transform

Daubechies-8Wavelet

Coefficients

No

D1

Impulsive Transient?

Impulsive TransientDisturbance

Yes

Dynamic Structural Neural Networks

Neural Weighting and Bias

Harmonic?Flocker?

Harmonic Distortionsand/or

Voltage Flicker

No

End

1 to 4 scale Wavelet Coefficients

D2 D3 D4 S4

ImpulseDetector

Impulsive Transient Filter

D1

1 to 4 scale Wavelet Coefficients

D2 D3 D4 S4

No

Yes

StandardDerivation

StandardDerivation

EstimatedAmplitude

GeneratorPerfect Waveform with the Estimated

Amplitude

WaveformSubtraction

Amplitude EstimatorAmplitude Estimator

• The The estimating RMS value of voltagesestimating RMS value of voltages can be calculated by can be calculated by the following equation: the following equation:

where where ff((tt) represents the value of the voltage sampled from the ) represents the value of the voltage sampled from the disturbance waveform, and disturbance waveform, and

MM is the total amount of sampling points. is the total amount of sampling points.

• In order to In order to reduce the computational complexityreduce the computational complexity, the RMS , the RMS value of value of ff((tt) can be ) can be approximatedapproximated by by

21

( )M

t

f tRMS

M

1

( )M

tA

f tRMS

M

Amplitude EstimatorAmplitude Estimator

• Then the Then the amplitude of the fundamental voltageamplitude of the fundamental voltage can be can be predicted as predicted as

where where AmpAmpEstEst is the estimated amplitude of the fundamental voltage is the estimated amplitude of the fundamental voltage

obtained from the RMS value, and obtained from the RMS value, and

AmpAmpEst_AEst_A is the approximately estimated amplitude of the fundamental is the approximately estimated amplitude of the fundamental

voltage obtained from the approximately RMS value voltage obtained from the approximately RMS value RMSRMSAA. .

Est 2Amp RMS

Est_A 1.5725 AAmp RMS


• According to the estimated amplitude According to the estimated amplitude AmpAmpEstEst produced by produced by

the amplitude estimator, a the amplitude estimator, a perfect sinusoidal waveform perfect sinusoidal waveform with the amplitude of with the amplitude of AmpAmpEstEst can be generated can be generated. .

• And, subtract the generated perfect sinusoidal waveform And, subtract the generated perfect sinusoidal waveform from the original measured waveform we have the from the original measured waveform we have the disturbance signal. Then, the disturbance signal. Then, the wavelet transform is appliedwavelet transform is applied to the extracted disturbance signal for analysis. to the extracted disturbance signal for analysis.


• The disturbance features reside in four scales of the The disturbance features reside in four scales of the decomposed decomposed high-pass high-pass and and low-passlow-pass signals. signals.

• The The first scale of high-pass signal is most sensitivefirst scale of high-pass signal is most sensitive than than other scales of decomposed signals because it contains the other scales of decomposed signals because it contains the signals with high frequency band. signals with high frequency band.

• Therefore, it is employed for extracting the features of the Therefore, it is employed for extracting the features of the impulsive transient disturbanceimpulsive transient disturbance within the disturbance within the disturbance waveform. waveform.

Feature Extraction of Impulsive Feature Extraction of Impulsive TransientTransient

An example of impulsive transient disturbance.

results of wavelet analysis in high-pass band and low-pass band, respectively.

Feature Extraction of Impulsive Feature Extraction of Impulsive TransientTransient

• The values of The values of meanmean and and standard derivationstandard derivation of the signal in of the signal in high-pass band (high-pass band (DD11) are calculated as follows to identify the ) are calculated as follows to identify the

impulse disturbance. impulse disturbance.

where where μμ11 and and ρρ11 are the mean and standard derivation of the signal in are the mean and standard derivation of the signal in

high-pass band (high-pass band (DD11), respectively.), respectively.

• The impulsive transient disturbance event is identified The impulsive transient disturbance event is identified according to the following ruleaccording to the following rule: :

/ 2

11

1

( )

/ 2

M

t

D t

M

/ 22

11

1

( )

/ 2

M

t

D t

M

t 1( ) 1.25D t ,

Impulsive Transient RemovalImpulsive Transient Removal

• However, the impulsive transient disturbance may contain However, the impulsive transient disturbance may contain multiple frequency componentsmultiple frequency components, which could make the , which could make the decomposed signals contain irregular disturbance. decomposed signals contain irregular disturbance.

• Hence, Hence, the impulsive transient components must be the impulsive transient components must be removed from all scales of the decomposed signalsremoved from all scales of the decomposed signals, after , after the impulsive transient disturbance has been identified. the impulsive transient disturbance has been identified.

• Then, the values of mean and standard derivation on each Then, the values of mean and standard derivation on each scale of the scale of the decomposed signals decomposed signals DD11, , DD22, , DD33, , DD44 and and SS44 are are calculated again for identifying other disturbance. calculated again for identifying other disturbance.

• This procedure can This procedure can preventprevent the following DSNN classifier the following DSNN classifier misclassifyingmisclassifying. .

Example of hybrid of Example of hybrid of Harmonic and FlickerHarmonic and Flicker

Example waveform of combining several harmonic distortions and voltage flicker

Decomposed signals D1, D2, D3, D4 and S4 form the 4-scale wavelet transform

Generating Waveform Data Generating Waveform Data (Training/Testing Dataset)(Training/Testing Dataset)

Condition NameCondition NameNumber of Number of

Disturbances Disturbances IncludedIncluded

OptionsOptions

SingleSingle Disturbance Disturbance WaveformWaveform

11 all type of PQ disturbancesall type of PQ disturbances

DualDual Disturbances Disturbances WaveformWaveform

22

One is randomly chosen from One is randomly chosen from

Type A, B, or C,Type A, B, or C,

the other is randomly chosen from the other is randomly chosen from

Type D, E, or F.Type D, E, or F.

MultipleMultiple Disturbances Disturbances WaveformWaveform

2~42~4

One of them is randomly chosen from One of them is randomly chosen from Type A, Type B or Type C and Type A, Type B or Type C and

the others are randomly chosen from the others are randomly chosen from

Type D, Type E or Type FType D, Type E or Type F

Types of PQ DisturbancesTypes of PQ Disturbances

TypesTypes NameName RMS (pu)RMS (pu) DurationDuration

AA Momentary Swell DisturbanceMomentary Swell Disturbance 1.1~1.41.1~1.4 30 cycles~3 sec30 cycles~3 sec

BB Momentary Sag DisturbanceMomentary Sag Disturbance 0.1~0.90.1~0.9 30 cycles~3 sec30 cycles~3 sec

CCMomentary Interrupt Momentary Interrupt

DisturbanceDisturbance<0.1<0.1 0.5 cycles~3 sec0.5 cycles~3 sec

DDImpulsive Transient Impulsive Transient

DisturbanceDisturbanceMicroseconds toMicroseconds to

millisecondsmilliseconds

EE Harmonic DistortionHarmonic Distortion 0~0.20~0.2

FF Voltage FlickerVoltage Flicker 0.001~0.070.001~0.07

Multiple PQ DisturbancesMultiple PQ Disturbances

• From the field measurements, From the field measurements, usually there existed usually there existed multiple types of disturbancesmultiple types of disturbances in a PQ event. in a PQ event.

• Recognizing a waveform that consists of multiple Recognizing a waveform that consists of multiple disturbances is disturbances is far more complexfar more complex than that consists of than that consists of single disturbance. single disturbance.

• This work develops a This work develops a new method that is capable of new method that is capable of recognizing several typical types of disturbancesrecognizing several typical types of disturbances existing in existing in a measured waveform and identifying their critical value. a measured waveform and identifying their critical value.

Multiple PQ DisturbancesMultiple PQ Disturbances

Hybrid of voltage flicker and impulsive transient disturbance.

Hybrid of momentary sag disturbance and voltage flicker.

Hybrid of momentary sag disturbance and high-frequency harmonic distortions.

ExamplesExamples

Single Disturbance

Dual Disturbances

Multiple Disturbances

Experimental ResultsExperimental Results(Parameters)(Parameters)

• This section presents the classification results of 6 This section presents the classification results of 6 types of disturbances under 3 kinds of conditions. types of disturbances under 3 kinds of conditions.

• The sampling rate of the voltage waveform is 30 The sampling rate of the voltage waveform is 30 points/per cycle, the fundamental frequency is 60 points/per cycle, the fundamental frequency is 60 Hz and the amplitude is 1 pu. Hz and the amplitude is 1 pu.

• The parameters of the proposed DSNN are that The parameters of the proposed DSNN are that space preservation factor space preservation factor ρρ is set as 1.5, the number is set as 1.5, the number of initially generated neurons is 50, and active of initially generated neurons is 50, and active function function φφoo of neurons is the hyperbolic tangent of neurons is the hyperbolic tangent function. function.

Experimental ResultsExperimental Results(Parameters)(Parameters)

• The disturbance waveforms are randomly The disturbance waveforms are randomly generated according to the definition of IEEE Std. generated according to the definition of IEEE Std. 1159. 1159.

• The minimum amplitudes of harmonic distortions The minimum amplitudes of harmonic distortions and voltage flicker are both 0.01 pu. and voltage flicker are both 0.01 pu.

• There are 3000 randomly generated waveforms for There are 3000 randomly generated waveforms for three kinds of PQ variations. 250 waveforms of three kinds of PQ variations. 250 waveforms of each kind of PQ variations and 100 normal each kind of PQ variations and 100 normal waveforms are utilized for training the DSNN.waveforms are utilized for training the DSNN.

Experimental ResultsExperimental Results(Training of DSNN)(Training of DSNN)

Experimental ResultsExperimental Results(Single Disturbance)(Single Disturbance)

Experimental ResultsExperimental Results(Dual Disturbances: (Dual Disturbances: accuracy rate accuracy rate ))

• 100%: Type C, E and F100%: Type C, E and F

• Type A, B and D: 99.985%, 99.986% , and 99.94%, respectivelyType A, B and D: 99.985%, 99.986% , and 99.94%, respectively

Experimental ResultsExperimental Results(Multiple Disturbances)(Multiple Disturbances)

• 96.89%: impulsive transient disturbance96.89%: impulsive transient disturbance

• 97.75%: momentary swell and sag disturbance97.75%: momentary swell and sag disturbance

• 99.79%: harmonic distortions99.79%: harmonic distortions

• 99.52%: voltage flicker99.52%: voltage flicker

Demonstration SoftwareDemonstration Software

THE ENDTHE END

THANKSTHANKS

•祝萬事如意

動態類神經網路~電機大師黃聰亮教授演講投影片

Technology

Transcript of 動態類神經網路~電機大師黃聰亮教授演講投影片