ISAN-DSP GROUP

168 481 Artificial Neural Networksวงจรข่�ายนิวรอลเที�ยม

ภาคการศึ�กษาต้�นิ ปี�การศึ�กษา 2546

อาจารย� นิวภ�ค เอ��ออนิ�นิต้�ภาควชาวศึวกรรมคอมพิวเต้อร�

มหาวทียาล�ยข่อนิแก�นิ

ISAN-DSP GROUP

Course Syllabus

Date and Time : TT 10.30-12.00 EN 4510Assessments:

Attendance 5%Homework 35%Midterm 30%Final Project 30%

Grading:85-100% A, 75-85% B+, 70-75% B, 65-70% C+, 60-65% C,

55-60% D+, 50-55% D, 0-50% F

References:1. James A. Freeman and David M. Skapura, “Neural Networks, Algorithms, Applications, and Programming Techniques”, Addison-Wesley, 19912. John Hertz, Anders Krough, and Richard G. Palmer, “Introduction to theTheory of Neural Computation”, Addison-Wesley, 1993.3. Bart Kosko, “Neural Networks and Fuzzy Systems, A Dynamic SystemsApproach to Machine Intelligence”, Prentice Hall, 1992.

ISAN-DSP GROUP

Course Outline

1. Introduction to Neural Computation- Biological neural networks and artificial neural networks- Neural network learning

2. Single Layer Perceptron Networks

3. Multilayer Perceptron Networks

4. Associative Networks

5. Self-Organizing Networks

6. Other Networks

7. Applications of Artificial Neural Networks

ISAN-DSP GROUP

Chapter 1

Introduction to Neural Computation

ISAN-DSP GROUP

คำ��ถ�ม !

ที$าไมคอมพิวเต้อร�ในิปี'จจ(บั�นิที�*ม�ความสามารถในิการค$านิวณส.งมากย�งไม�สามารถเที�ยบัก�บัความสามารถข่องสมองมนิ(ษย�ในิงานิง�ายๆ(ส$าหร�บัมนิ(ษย�) บัางอย�าง เช�นิ การจ$าใบัหนิ�า การฟั'งและการต้�ความหมาย การแปีลภาษา

คำว�มส�ม�รถของสมองมนุ�ษย์� vs คำอมพิ�วเตอร�เซลล�ปีระสาทีส�งส�ญญาณ

ได้�ในิอ�ต้ราส.งส(ด้ปีระมาณ 1000 คร��ง/วนิาที�

ความเร5วข่องคอมพิวเต้อร�ในิปี'จจ(บั�นิข่��นิไปีถ�ง 1700 MHz

ความเร5ว

การค$านิวณเลข่คณต้ สมองคนิ

ซ(ปีเปีอร�คอมพิวเต้อร�ปี'จจ(บั�นิ C> 1000 MFLOP

การจด้จ$าและแยกแยะร.ปีภาพิ, เส�ยง สมองคนิ คอมพิวเต้อร�

ISAN-DSP GROUP

คำว�มมหั�ศจรรย์�ของสมองมนุ�ษย์�

- สมองมนิ(ษย�ม�ปีระสทีธิภาพิและม�*นิคงมาก ที(กว�นิม�เซลล�ปีระสาทีในิสมองต้าย โด้ยที�*ไม�ส�งผลกระทีบัต้�อปีระสทีธิภาพิข่องสมองโด้ยรวม - ระบับัสมองข่องมนิ(ษย�ย�ด้หย(�นิมาก สามารถปีร�บัต้�วเข่�าก�บัส*งแวด้ล�อมใหม� โด้ยการเร�ยนิร. � (ผด้ก�บัคอมพิวเต้อร�ที�*จะต้�องโปีรแกรมใหม�)- สมองมนิ(ษย�สามารถจ�ด้การก�บัข่�อม.ลที�*ม�ความไม�แนิ�นิอนิ, ม�ส�ญญาณรบักวนิ, และไม�สม$*าเสมอ ได้�ด้�- สมองสามารถปีระมวลผลข่�อม.ลข่นิาด้มหาศึาล เช�นิร.ปีภาพิ ในิล�กษณะการ ปีระมวลผลแบับัข่นิานิได้�ด้�- สมองม�ข่นิาด้เล5กและใช�พิล�งงานินิ�อย- โครงสร�างข่องสมองมนิ(ษย�ได้�วว�ฒนิาการมาเปี:นิเวลาหลายล�านิปี� และได้�ร�บัพิส.จนิ�จากธิรรมชาต้ต้ราบัจนิกระที�*งที(กว�นินิ��

ISAN-DSP GROUP

โคำรงสร��งของสมองมนุ�ษย์�และระบบประส�ท

Cell body (soma)

Dendrite

Nucleus

ภาพิเซลล�ปีระสาที (Neuron)Axon

Myelin sheath

Synapse

ISAN-DSP GROUP

- เซลล�ปีระสาทีปีระกอบัด้�วย ต้�วเซลล� (Soma) เส�นิปีระสาทีหล�ก (Axon) และระบับั ก*งก�านิสาข่าข่อง Dendrites

- ที�*ปีลายข่อง Axon ม�อว�ยวะเร�ยกว�า Synapse ต้�อก�บั drendrites ข่องเซลล�ปีระสาที เซลล�อ�*นิ ที��ง Axon และ Dendrites ใช�นิ$าส�ญญาณทีางไฟัฟั;าระหว�างเซลล�ปีระสาที - Axon ม�ความยาวมากกว�า Dendrites (Axon อาจยาวได้�ถ�ง 1 เมต้ร) Axon ย�งม�ฉนิวนิเร�ยกว�า Myelin sheath ส$าหร�บัที$าให�นิ$าส�ญญาณได้�ด้�ข่��นิและก�นิส�ญญาณ รบักวนิจากเซลล�ใกล�เค�ยง

ก�รท��ง�นุของเซลล�ประส�ท

Dendrites

Soma

Synapse

Axon

Myelin sheath

ISAN-DSP GROUP

Na

K Cl

Na

Cl K

Organic ion

- โด้ยปีกต้ต้อนิที�* Neuron ย�งไม�ที$างานิ ข่องเหลวภายในิเซลล�จะม�ความเข่�มข่�นิข่อง K+

และ Organic ion มาก ส�วนิข่องเหลวภายนิอกเซลล�จะม� Na+ และ Cl- มาก - เม�*ออย.�ในิภาวะสมด้(ลย�ความแต้กต้�างระหว�างความเข่�มข่�นิ ion ภายในิและภายนิอกเซลล� ที$าให�เกด้ความต้�างศึ�กย�ไฟัฟั;าปีระมาณ -70 ถ�ง –100 mV เร�ยกว�า Resting potential

-70 mV

+

ก�รท��ง�นุของเซลล�ประส�ท (ต$อ)

ISAN-DSP GROUP

- ส�ญญาณทีางไฟัฟั;าจากเซลล�ปีระสาทีอ�*นิๆจะถ.กส�งผ�านิ Axon และ Dendrites ไปีย�ง Soma

- ถ�าส�ญญาณไฟัฟั;ารวมที�*ส�งเข่�ามาที�* Soma มากพิอ จะเกด้การเปีล�*ยนิแปีลงความเข่�มข่�นิข่อง ion ข่��นิภายในิเซลล� โด้ย Na+ จะไหลเข่�าไปีในิเซลล�มากข่��นิ ที$าให�ความต้�างศึ�กย�ไฟัฟั;า Resting potential ลด้ลง ส�ญญาณไฟัฟั;าที�เปีล�*ยนิแปีลงนิ��เร�ยกว�า Action potential

Na

K Cl

Cl K

Organic ion

Na

เซลล�ส�งส�ญญาณออกไปี

30 mV

+

Na

K Cl

Na

Cl K

Organic ion

++

++

ก�อนิจะที$างานิ เซลล�ก$าล�งถ.กกระต้(�นิ

-70 mV

+

ส�ญญาณภายนิอก

ก�รท��ง�นุของเซลล�ประส�ท (ต$อ)

ISAN-DSP GROUP

- Action potential จะถ.กส�งไปีย�งเซลล�ใกล�เค�ยงที�*ต้�อก�บัเซลล�นิ��อย.�

- หล�งจากส�งส�ญญาณออกไปี เซลล�จะไม�สามารถที$างานิได้�อย.�พิ�กหนิ�*ง ต้�องรอให� ion ภายในิเซลล�ปีร�บัเข่�าส.�สภาพิสมด้(ลย�ก�อนิ ซ�*งจะใช�เวลาปีระมาณ 1 mSec

สร(ปี

เซลล�สมองแต้�ละเซลล�ม�ฟั'งก�ช�นิการที$างานิอย�างง�าย โด้ยเซลล�จะร�บัส�ญญาณไฟัฟั;าจากเซลล�อ�*นิหลายๆเซลล� เพิ�*อนิ$ามากระต้(�นิให�เซลล�ส�ญญาณไฟัฟั;าส�งให�เซลล�อ�*นิๆต้�อไปี

ก�รท��ง�นุของเซลล�ประส�ท (ต$อ)

ISAN-DSP GROUP

โคำรงสร��งของสมองมนุ�ษย์� vs คำอมพิ�วเตอร�

-สมองปีระกอบัด้�วย Neuron จ$านิวนิปีระมาณ 100,000 ล�านิเซลล�

- เซลล� Neuron แต้�ละเซลล�ม�การที$างานิที�*ไม�ซ�บัซ�อนิ โด้ยส�ญญาณที�*ส�งออกมาจาก แต้�ละเซลล�จะเปี:นิล.กคล�*นิส�ญญาณทีางไฟัฟั;า

- ปีกต้ Neuron แต้�ละเซลล�จะเช�*อมต้�อก�บั Neuron เซลล�อ�*นิปีระมาณ 10,000 เซลล� บัางเซลล�อาจม�จ(ด้ต้�อมากกว�า 200,000 จ(ด้

- สมองไม�ม�ความจ$าส�วนิกลาง แต้�สมองจะเร�ยนิร. �และจด้จ$าความจ$าระยะยาวโด้ยการ ปีร�บัโครงสร�างข่องสมองเปี:นิหล�ก (การจ�ด้ร.ปีก*งก�านิสาข่าข่องเซลล�ปีระสาที)

- สมองจะเร�ยนิร. �ได้�ต้�องม�การฝึ>กหลายๆคร��งจนิเกด้ความช$านิาญ

สมอง

ISAN-DSP GROUP

Example of neuronsExample of neurons

The cultured retinal explants taken from chick embryos

From http://www.ams.sunysb.edu/research/pinezich/neuron_reconstruction/

ISAN-DSP GROUP

Example of neurons (continued)Example of neurons (continued)

From http://faculty.washington.edu/chudler/cellpyr.html(Image courtesy of Dr. James Crandall, Eunice Kennedy Shriver Center)

Neurons located in the cerebral cortex of the hamster.

ISAN-DSP GROUP

Scientific skill

ก�รท��ง�นุของสมอง

ISAN-DSP GROUP

คอมพิวเต้อร�

โคำรงสร��งของสมองมนุ�ษย์� vs คำอมพิ�วเตอร�

- หนิ�วยปีระมวลผลข่องคอมพิวเต้อร� (CPU) ม�ความซ�บัซ�อนิมาก ม�ความสามารถมาก ในิเคร�*องคอมพิวเต้อร�แต้�ละเคร�*อง ม�จ$านิวนิ CPU ไม�มาก และการเช�*อมต้�อระหว�าง CPU ไม�ได้�ซ�บัซ�อนิ- คอมพิวเต้อร�ม�หนิ�วยความจ$าส�วนิกลาง ใช�เก5บัโปีรแกรมและข่�อม.ล- คอมพิวเต้อร�ถ.กโปีรแกรมในิล�กษณะเปี:นิช(ด้ค$าส�*งให�ปีฏิบั�ต้ต้ามเปี:นิล$าด้�บัที�*แนิ�นิอนิ

อะไรคำ&อว�ช�วงจรข$�ย์นุ�วรอลเท(ย์มศึาสต้ร�ว�าด้�วยการค$านิวณโด้ยอาศึ�ยวงจรข่�ายที�*เล�ยนิแบับัการที$างานิข่องระบับั

การที$างานิข่องสมองข่องมนิ(ษย�

ISAN-DSP GROUP

วงจรข$�ย์นุ�วรอลเท(ย์ม Artificial Neural Networks

เล�ยนิแบับัการที$างานิข่องสมองมนิ(ษย� โด้ยใช�หนิ�วยปีระมวลผลง�ายๆ จ$านิวนิมาก ต้�อก�นิเปี:นิโครงสร�างข่��นิมา

ISAN-DSP GROUP

ต�วอย์$�งโคำรงสร��งของวงจรข$�ย์นุ�วรอลเท(ย์ม

Input nodesHidden nodes

Output nodes

Connections

jj

ji

mmiiiii

xwf

xwxwxwxwfy

)(

)( 33

22

11

Output ข่องแต้�ละโหนิด้

Wij = นิ$�าหนิ�ก (weight) ข่องแต้�ละแข่นิ (connection)Xi = input จากโหนิด้อ�*นิๆ

ISAN-DSP GROUP

วงจรข$�ย์นุ�วรอลเท(ย์ม ก�บ คำอมพิ�วเตอร�ท�)วไป

- วงจรข่�ายนิวรอลเนิ�นิที�*โครงสร�างเปี:นิหล�ก ใช�หนิ�วยปีระมวลผลง�ายๆจ$านิวนิมากมาต้�อก�นิ ข่ณะที�*คอมพิวเต้อร�ที�*งไปีใช�หนิ�วยปีระมวลผลความสามารถส.ง แต้�ม�จ$านิวนิไม�มาก- การโปีรแกรมข่องคอมพิวเต้อร�โด้ยที�*วไปี ใช�ช(ด้ค$าส�*งเปี:นิล$าด้�บัข่��นิต้อนิ แต้�วงจรข่�าย นิวรอลจะเร�ยนิร. �โด้ยการฝึ>กฝึนิจาก ช(ด้ข่�อม.ลส$าหร�บัฝึ>กห�ด้ (Training set)

- วงจรข่�ายนิวรอลจด้จ$าได้�โด้ยการปีร�บัค�า weight ข่อง connections ที�*ที$าให� วงจรม�ข่�อผด้พิลาด้จากการฝึ>กห�ด้ (training error) ต้$*าที�*ส(ด้ - การปีร�บั weight จะค�อยๆปีร�บัที�ละนิ�อยในิการฝึ>กแต้�ละคร��ง เม�*อฝึ>กบั�อยๆ ค�า ความผด้พิลาด้ก5จะลด้ลงเร�*อยๆ- ปี'จจ(บั�นิโปีรแกรมวงจรข่�ายนิวรอลม�กจะใช�การจ$าลองบันิคอมพิวเต้อร�แทีนิส�วนิที�*เปี:นิวงจรเคร�อข่�ายอ�นิสล�บัซ�บัซ�อนิ โด้ยใช�ซอฟัต้�แวร�เปี:นิหล�ก ส�วนิฮาร�ด้แวร�ที�*เล�ยนิแบับัวงจรข่�ายนิวรอลโด้ยต้รงม�นิ�อยมาก เนิ�*องจากความยากล$าบัากในิการสร�าง

ISAN-DSP GROUP

วงจรข$�ย์นุ�วรอลเท(ย์มก�บก�รใช�ง�นุ

วงจรข่�ายนิวรอลเปี:นิเคร�*องม�อเอนิกปีระสงค�ที�*เหมาะจะใช�ก�บังานิ:1. งานิการจด้จ$าร.ปีแบับัที�*ม�ความไม�แนิ�นิอนิ เช�นิ ลายม�อ ลายเซนิต้� ต้�วอ�กษร ร.ปีหนิ�า2. งานิการปีระมาณค�าฟั'งก�ช�นิหร�อการปีระมาณความส�มพิ�นิธิ� (ม� inputs และ outputs แต้�ไม�ทีราบัว�า inputs ก�บั outputs ม�ความส�มพิ�นิธิ�ก�นิอย�างไร)

3. งานิที�*ส*งแวด้ล�อมเปีล�*ยนิแปีลงอย.�เสมอ (วงจรข่�ายนิวรอลสามารถปีร�บัต้�วเองได้�)4. งานิจ�ด้หมวด้หม.�และแยกแยะส*งข่อง5. งานิที$านิาย เช�นิพิยากรณ�อากาศึ พิยากรณ�ห(�นิ

ISAN-DSP GROUP

Neural Network Taxonomy

Gradient Descent

Recurrent Backpropagation

RABAMBrownian annealingBoltzmann learningABAM, ART-2, BAM

Adaptive ResonanceART-1, ART-2

Vector Quantization

Self-organizing mapsCompetitive learningCounter-propagation

Least mean squareBackpropagationReinforcement learning

Feedforward Feedback

Sup

ervi

sed

Uns

uper

vise

d

Decoding

En

cod

ing

ISAN-DSP GROUP

ก�รเร(ย์นุร+� Learning

1. Supervised Learning การเร�ยนิแบับัม�การสอนิเปี:นิการเร�ยนิแบับัที�*ม�การต้รวจค$าต้อบัเพิ�*อให�วงจรข่�ายปีร�บัต้�ว ช(ด้ข่�อม.ลที�*ใช�สอนิวงจร

ข่�ายจะม�ค$าต้อบัไว�คอยต้รวจด้.ว�าวงจรข่�ายให�ค$าต้อบัที�*ถ.กหร�อไม� ถ�าต้อบัไม�ถ.ก วงจรข่�ายก5จะปีร�บัต้�วเองเพิ�*อให�ได้�ค$าต้อบัที�*ด้�ข่��นิ (เปีร�ยบัเที�ยบัก�บัคนิ เหม�อนิก�บัการสอนินิ�กเร�ยนิโด้ยม�คร.ผ(�สอนิคอยแนิะนิ$า)

2. Unsupervised Learning การเร�ยนิแบับัไม�ม�การสอนิเปี:นิการเร�ยนิแบับัไม�ม�ผ.�แนิะนิ$า ไม�ม�การต้รวจค$าต้อบัว�าถ.กหร�อผด้ วงจรข่�ายจะจ�ด้

เร�ยงโครงสร�างด้�วยต้�วเองต้ามล�กษณะข่องข่�อม.ล ผลล�พิธิ�ที�*ได้� วงจรข่�ายจะสามารถจ�ด้หมวด้หม.� ข่องข่�อม.ลได้� (เปีร�ยบัเที�ยบัก�บัคนิ เช�นิการที�*เราสามารถแยกแยะพิ�นิธิ(�พิ�ช พิ�นิธิ(�ส�ต้ว�ต้ามล�กษณะร.ปีร�างข่องม�นิได้�เองโด้ยไม�ม�ใครสอนิ)

ISAN-DSP GROUP

Network Architecture

Feedforward network ข่�อม.ลที�*ปีระมวลผลในิวงจรข่�ายจะถ.กส�งไปีในิทีศึทีางเด้�ยวจาก Input nodes

ส�งต้�อมาเร�*อยๆจนิถ�ง output nodes โด้ยไม�ม�การย�อนิกล�บัข่องข่�อม.ล หร�อแม�แต้� Nodes

ในิ layer เด้�ยวก�นิก5ไม�ม�การเช�*อมต้�อก�นิ

Input nodes Output nodes

Direction of data flow

ISAN-DSP GROUP

Network Architecture (cont.)

Feedback network ข่�อม.ลที�*ปีระมวลผลในิวงจรข่�าย จะม�การปี;อนิกล�บัเข่�าไปีย�งวงจรข่�ายหลายๆคร��ง

จนิกระที�*งได้�ค$าต้อบัออกมา (บัางที�เร�ยกว�า Recurrent network)

Input nodes Output nodes