Svm

ซพพอรต เวกเตอร แมชชน

Support Vector Machine

โดย

นางสาวชโลทร ตาด

รายงานนเปนสวนหนงของการศกษาตามหลกสตร วศวกรรมศาสตรบณฑต สาขาวชาวศวกรรมคอมพวเตอร

วทยาลยวศวกรรมศาสตร มหาวทยาลยรงสต ปการศกษา 2553

ชอ : นางสาวชโลทร ตาด รหส 505261

เรอง : ชพพอรต เวกเตอร แมชชน อาจารยทปรกษา : ดร.อรรถ โกญจนาท คาสาคญ : สถต

บทคดยอ

Support Vector Machines อาศยทฤษฎทเรยนรเกยวกบสถตสามารถถกใชกบแบบแผน และการถดถอย ทฤษฎทเรยนรเกยวกบสถตสามารถระบคอนขางจะปจจยอยางกระชบซงตองการถกใชเขาไปในบญชทจะเรยนรชนดงายดายจานวนหนงอยางสมบรณของวธคด โดยปกตโปรแกรมโลกจรงตองการความซบซอนอยางมากกวาจาลอง และวธคด( เชนเดยวกนกบเครอขายเกยวกบประสาทหรอระบบประสาท ) ซงทาใหยากมากทจะวเคราะหเกยวกบทฤษฎ

SVMs สามารถถกเหนเปนการพดเทจทจดตดของทฤษฎทเรยนร และในทางปฏบต เขาสรางแบบตวอยางทสงนนคอความซบซอนพอ การบรรจคลาสมากมายของเครอขายเกยวกบประสาทหรอระบบประสาทสาหรบตวอยาง และถงกระนนสงนนคอสงทงายๆพอถกวเคราะห เพราะวา SVM สามารถถกเหนเปนวธคดแบบเชงเสน ในทวางความกวางยาวสง

SVMs ประยกตใชกบประโยชนทางดานการแพทย ดานวทยาศาสตร ดานวศวกรรม ดานเทคโนโลยและในอนาคตจะสามารถประยกตใชกบระบบเครอขายในรปแบบตางๆใด จะเปนรปแบบทซบซอน

Name :Ms.Chalotorn Tadee ID 505261

Title : Support Vector Machines Advisor : Dr.Ut Goenchanart Keywords : statistical learning

Abstract

Support Vector Machines are supervised learning machines based on statistical learning

theory thatcan be used for pattern recognition and regression. Statistical learning theory can identify ratherprecisely the factors that need to be taken into account to learn successfully certain simple typesof algorithms , however , real-world applications usually need more complex models and algorithms(such as neural networks), that makes them much harder to analyse theoretically.

SVMs can beseen as lying at the intersection of learning theory and practice. They construct models that arecomplex enough (containing a large class of neural networks for instance) and yet that are simpleenough to be analysed mathematically. This is because an SVM can be seen as a linear algorithm in a high-dimensional space .

In this document , we will primarily concentrate on Support Vector Machines as used in pattern recognition. In the first section we will introduce pattern recognition and hyperplane classifiers,simple linear machines on which SVMs are based. We will then proceed to see how SVMs are ableto go beyond the limitations of linear learning machines by introducing the kernel function, whichpaves the way to find a nonlinear decision function. Finally, we sum it all up and mention someareas in which Support Vector Machines have been applied and given excellent results.

คานา

รายงานฉบบนเปนสวนหนงของวชา CPE 489 (Seminar in Computer Engineering) โดยมจดประสงค เพอการศกษาความรทไดจากเรอง Support Vector Machines ซงรายงานฉบบนมเนอหาเกยวกบรายละเอยดความรเทคโนโลย วธการคด และนาไปการประยกตใชงาน

ผจดทาหวงวารายงานฉบบนจะใหความร และเปนประโยชนแกผอานทก ๆ ทานบางไมมากกนอยและหากมขอผดพลาดประการใดผจดทากขออภยไว ณ ทนดวย

นางสาวชโลทร ตาด

ผจดทา

สารบญ

หนา บทคดยอภาษาไทย ...………………………………………………………………………..…… ค บทคดยอภาษาองกฤษ ...…………………………………………………………..……………... ง สารบญ …………………………………………………………………………………………... จ สารบญรป ……………………………………………………………………………………….. ฌ บทท 1 บทนา ………………………………………………………………………………. 1 1.1 Introduction ..…………………………………..…………………………….

1.2 วธการการถดถอย ……………………………..……………………………….. 1.3 เครองเรยนรเทคนค .………………………..………………………………..

1 1 1

บทท 2

Support Vector Machines … ………………………………….………….…….. 2.1 เครองเวกเตอรสนบสนน (SVMs) .…………………………………….................. 2.2 Formalization ………………………………………………………............... 2.3 รปแบบ Primal ………………………………………………………………… 2.4 รปแบบ Dual …………………………………………………………………... 2.5 ระดบเอยง hyperplanes ……………………………………………………....... 2.6 Transductive …………………………………………………………………..

2 2 3 6 8 9 9

2.7 คณสมบต …………………………………………………………………........ 2.8 อตราซอฟท ……………………………………………………………………. 2.9 การจดหมวดหมไมเชงเสน …………………………………………………….. 2.10 การเลอกพารามเตอร ………………………………………………………… 2.11 Multiclass SVM ………………………………………………………………

10 10 11 14 18

บทท 3

สารบญ(ตอ)

หนา การประยกตใชงาน ……………………………………………...……………....…

20

3.1 โครงขายประสาทเทยม ……………………………………………………….. 3.1.1 โครงสราง ……………………………………………………........……. 3.1.2 หลกการ ………………………………………………………………... 3.1.3 การทางาน ……………………………………………………………... 3.1.4 การประยกตใชงาน Neural Network …………………………………..

20 21 21 21 22

บทท 4 สรป …………………………………..… …………………………………..… 23 4.1 ขอสรป…………………………...………..…………………………………. 23

บรรณานกรม ………………………………………………………………………………….… 24

สารบญรป

หนา รปท

2.1 แสดงรายละเอยดในการแบงขอมล .............................................................................. 3 2.2.1 hyperplane สงสด margin ........................................................................................... 4 2.2.2 Hyperplane .............................................................................................................. 5

2.10.1 Linear PCA ................................................................................................................. 13

บทท 1 บทนา

1.1. Introduction

เปาหมายหลกของทฤษฎการเรยนรทางสถตคอการใหการศกษากรอบ ไอเอนจปญหาการอนมาน, ทเปนทดงดดความร, การพยากรณการตดสนใจหรอการสรางโมเดลจากชดขอมลของ นคอการศกษาใน กรอบสถตทมสมมตฐานทางสถตเกยวกบธรรมชาต

วธการและเทคนคทใชในการดาเนนการวเคราะหคาดการณในวงกวางจะสามารถแบงออกไดเปนเทคนคการถดถอยและเทคนคการเรยนรเครอง

1.2. วธการการถดถอย

การถดถอย การวเคราะหแบบจาลองเปนแกนนาการพยากรณ โฟกสอยทการสรางสมการทางคณตศาสตรทเปนรปแบบเพอแสดงปฏสมพนธระหวางตวแปรทแตกตางกนในการพจารณา ทงนขนอยกบสถานการณทมหลากหลายรปแบบทสามารถนามาใชในขณะทประสทธภาพการวเคราะหการทานาย บางสวน

1.3. เครองเรยนรเทคนค

การเรยนร Machine ปญญาประดษฐของสาขาเปนลกจางเดมเพอพฒนาเทคนคในการเปดใชงานคอมพวเตอรในการเรยนร วนนเนองจากจะมการจดประเภทจานวนวธการทางสถตขนสงสาหรบการถดถอยและพบการประยกตใชในหลากหลายสาขารวมทง การวนจฉยทางการแพทย , การตรวจสอบการทจรตบตรเครดต , ใบหนา และ รจาเสยงพด และการวเคราะหของ ตลาดหลกทรพย ในการใชงานบางอยางมนจะเพยงพอทจะโดยตรงทานายตวแปรตามไดโดยไมตองมงเนนไปทความสมพนธระหวางตวแปรพนฐาน ในกรณอน ๆ ความสมพนธตนแบบสามารถทซบซอนมากและ

รปแบบทางคณตศาสตรของการอางองทไมรจก สาหรบกรณเชนเครองเลยนแบบมนษยการเรยนรเทคนคการ รคด และเรยนรจากตวอยางในการทานายเหตการณในอนาคต

บทท 2 Support Vector Machines

2.1. เครองเวกเตอรสนบสนน (SVMs)

เปนวธการวเคราะหขอมลและทราบวาเปนรปแบบทใชสาหรบการ จาแนกทางสถต และ การวเคราะหการถดถอย SVM คอตวจาแนก จากนนตงคาใหตวอยางการฝกอบรมการทาเครองหมายแตละคนทเปนของหนงในสองประเภท เครองเวกเตอรสนบสนนโครงสราง hyperplane หรอชดของ hyperplanes ใน ระดบสง ทสนสดหรอมตพนทซงสามารถนามาใชสาหรบการจดหมวดหมถดถอยหรองานอน ๆ การแยกทด คอโดย hyperplane ทมขนาดใหญทสด datapoints ใด ๆ

ในขณะทการระบไวในมตจากดกมกจะเกดขนทในพนททกาหนดทจะเลอกปฏบตไมไดแยกเปนเสนตรง ดวยเหตนมนเปนขอเสนอทเปนตนฉบบมต จากด ถกแมปเขาสมตทสงขนมากอยางนาจะทาใหแยกไดงายขนในพนทนน รปแบบการทาแผนท SVM ใชเปนพนทขนาดใหญเพอใหผลตภณฑคานวณไดงายในแงของตวแปรในพนทเดมการโหลดการคานวณทเหมาะสม ผลตภณฑในพนทขนาดใหญจะถกกาหนดในแงของการทางานของเคอรเนล K (x, y) ซงสามารถเลอกเพอใหเหมาะกบปญหา hyperplanes ในพนทขนาดใหญจะถกกาหนดเปนชดของจดทมผลตภณฑทมเวกเตอรในพนทมคาคงท

เวกเตอรกาหนด hyperplanes สามารถเลอกทจะรวมกนเชงเสนตรงกบพารามเตอร α ภาพของพาหะนาคณลกษณะทเกดขนในฐานขอมล ดวยตวเลอกของ hyperplane จด x ในพนทคณลกษณะทถกแมปเปน hyperplane

หใใปc

ใเคปใใส

หาก K (x, y)ใกลชดของจดในการวดสมพปฏบต หมาconvoluted ต

จาแนในหนงในสอเวกเตอรสนบคะแนนดงกลประเภทขอมลใหญทสดหรอใกลทสดในแสงสด และตว

y) จะมขนาดเด X เปนฐานขพนธของแตลายเหตพนทควตนฉบบเปนผล

นกขอมล เปนองชนเรยนแลบสนนการชขอลาวกบ p - 1 ลเปน หนงอขอบระหวาแตละดานมคาวจาแนกเชงเส

เลกเปน Y เตขอมล correspละจดไปยงจดวามเปนจรงใลใหซบซอนม

นงานทพบไดละมเปาหมายทอมลถกมองวมต hyperplaงทางเลอกทเหงสองชนเรยนามากทสด ถาสนจะกาหนด

,

ตบโตตอไปจาpoinding จด xดขอมลทมแหใด ๆ ทตงขอมากขนการเล

ดบอยใน การทจะตดสนใจวาเปนพาหะ ane นเรยกวาหมาะสมเปนน ดงนนเราจาเชน hyperplเปนทรจกกน

con

าก x, ผลรวมx ดวยวธนกาหลงกาเนดในหองจด x ลงในลอกปฏบตระ

เรยนรเครอง จวาชนขอมลจ

p มต า ตวจาแนกเช hyperplaneจงเลอก hyperlane มอยแลวนเปนสงสด ต

nstant

มแตละองคปรารทางานของหนงหรออน นแมป hyperหวางชดทอย

สมมตวาบางจดใหมจะเปนและเราตองกชงเสน มหลe ทดทสดเปนrplane เพอใหวมนเปนทรจกวจาแนกขอบ

ระกอบทดสองเคอรเนล สา ๆ ของชดrplane สามารยหางไกลจากใ

งอยางใหแตลนระบบในเครการทราบวาเราย hyperplanนหนงทแสดหระยะทางไปกกนเปน hypบ

อบระดบความมารถนามาใชดทจะถกเลอกรถคอนขางจะในโคง

ละจดขอมลอยรองกรณาสามารถแยก

nes ทอาจแบงงถงการแยกทปยงจดขอมลทperplane อตรา

มชกะ

ย

กงททา

hข

แพ

1

2

2.2. For

เราจะไดรบข

ท C i คอ 1 หhyperplane อของจด คว

และระยะขอบพาหะสนบสน

1 http://en.wikipedi


rmalization

ขอมลการฝกอ

หรอ -1 ซงแสอตราสงสดทแวามพงพอใจ

บสาหรบ SVMนน

·

a.org/wiki/Support_

a.org/wiki/Support_

รปท

n

อบรม D, แบบ

,

ดงระดบทจดแบงจดทมค I

รปท 2

M กบกลมตว

0

_vector_machine

_vector_machine

2.1. แสดงรา

บฟอรมการต

, |

ด เปนของ = 1 จากนนม

2.2.1 hyperpl

วอยางจากสอ

ยละเอยดในก

งคา n จดของ

,

ง แตละ มมค I = -- 1 hy

lane สงสด m งชนเรยน กล

การแบงขอมล

ง

1,1

มตคอ p - จรงyperplane ใด

margin2

ลมตวอยางใน

ล1

ง เวกเตอร เรๆ สามารถเขย

นอตรานจะเรย

าตองการหา -ยนเปนชด

ยกวาเปน

-

ห

|

ก

หไ

ร

เ

หมายถง จดผ

|| || กาหนด

เราตองการทกนมากทสดใ

และการ

หากขอมลทวไมมระหวางพ

ระยะหางระห

เพอปองกนไม

3 http://w

ผลตภณฑ เวกดชดเชยของ h

ทจะเลอก ในขณะทยงแ

·

·

วาง เชงเสนตรพวกเขาแลวพ

หวางทงสอง h

มใหลมลงใน

www.cs.brown

กเตอร เปhyperplane จา

และ b เพอเพบงแยกขอมล

1

1

รงทางแยก เรพยายามทจะเพ

hyperplanes เ

นระยะขอบเรา

n.edu/courses

น ปกต เชงเสากแหลงกาเน

พมอตรากาไรหล hyperplane

าสามารถเลอพมระยะทางข

เปน || ||

าเพมขอ จากด

รปท 2.2

s/archive/200

สนจะตงฉากกนดตามเสน

หรอระยะหางes เหลานสาม

อกไดสอง hypของพวกเขา โ

ดงนนเราตอง

ด

2.23 hyperpl

06-2007/.../Bu

กบ hyperplan

งระหวาง hypารถอธบายโด

perplanes ของโดยการใชรป

งการลด ||W||

ane

urges98.pdf

ne พารามเตอ

perplanes ขนดยสมการ

งอตรากาไรใปทรงเรขาคณ

| ขณะทเรายง

อร

านวามหาง

นทางทมจดตเราหา

งมจดขอมล

W · X b 1 for X ของชนหนง

หรอ

· 1 ของทสอง

นสามารถเขยนใหมเปน :

· 1 1 1

เราสามารถใสนเขาดวยกนเพอใหไดปญหาการเพมประสทธภาพ : ลด ใน , || || ภายใต (สาหรบการใด ๆ 1, … , )

· 1

2.3. รปแบบ Primal

ปญหาการเพมประสทธภาพนาเสนอในสวนกอนหนานเปนการยากทจะแกไขเพราะมนขนอยกบ ||W|| กฎเกณฑของ W ซงเกยวของกบรากทสอง ทมนเปนไปไดทจะปรบเปลยนสมการโดยการแทน

||W|| กบ || || โดยไมตองเปลยนสารละลาย (เดมขนตาของสมการและการปรบเปลยนม w

เดยวกนและ b) นคอ การเขยนโปรแกรมกาลงสอง (QP) การเพมประสทธภาพ ปญหา เพมเตมอยางชดเจน

ลด ใน ,

12

|| ||

ภายใต (สาหรบการใด ๆ 1, … , )

· 1

หนงอาจจะอยากทจะแสดงปญหาทเกดขนกอนหนานโดยวธการทไมใชเชงลบ

min , ,12

| | · 1

แตนจะไมถกตอง เหตผลกคอตอไปนสมมตวาเราสามารถหาครอบครวของ hyperplanes ซงแบงจดนนแลวทงหมด · 1 0

ดงนนเราจะสามารถคนหาอยางนอยโดยการสงทงหมด ไป ∞ และตาสดนจะมาถงสาหรบสมาชกทกคนในครอบครวทไมเพยง แตสาหรบหนงทดทสดซงสามารถเลอกการแกปญหาเดม

min , max | | ∑ · 1

ในการทา · 1 0 เชนจดทงหมดซงสามารถแยกออกเปน ตงคา α ทสอดคลองกนเปนศนย

ปญหานทาใหตอนนสามารถแกไขไดดวยการมาตรฐานเทคนคการเขยนโปรแกรมและโปรแกรมทกาลงสอง โซลชนนสามารถแสดงตามขอตกลงของการรวมกนเชงเสนของเวกเตอรการฝกอบรมเปน

W α c x

จะมคามากกวาศนย ทสอดคลอง จะวาเปนพาหะสนบสนนซงกองอยบนขอบและความพงพอใจ · 1 จากนจะไดรบมาวาเปนพาหะสนบสนนยงตอบสนอง

·1

การกาหนดการชดเชย ในทางปฏบตจะมประสทธภาพมากขนกวาคาเฉลยทงหมด , พาหะสนบสนน :

1·

2.4. รปแบบ Dual

การเขยนกฎในการจดหมวดหมของมน unconstrained รปค พบวาอตรา hyperplane สงสดและการจดหมวดหมงานจงเปนเพยงพาหะของฟงกชนการสนบสนน, ขอมลการฝกอบรมทกองอยบนขอบ

การใชความจรงทวา || || · และการแทน ∑ หนงสามารถแสดงใหเหนวาคของ SVM ชวยลดปญหาการเพมประสทธภาพดงตอไปน

สงสด (ใน )

∑ ∑ ∑,

∑ ,,

ภายใต (สาหรบการใด ๆ 1, … , )

0

และจากขอ จากด ในการลดข

0

ตอไปนเมลดจะถกกาหนดโดย , ·

α ประกอบการแสดงคสาหรบเวกเตอรนาหนกในแงของการตงคาการฝกอบรม :

2.5. ระดบเอยง hyperplanes

เพอความเรยบงายบางครงกเปนสงจาเปนท hyperplane ผานมาของระบบพกด hyperplanes ดงกลาวเรยกวาเปนกลางในขณะท hyperplanes ทวไปไมจาเปนตองผานการเอยงกาเนดจะเรยกวา hyperplane ไมสามารถมผลบงคบใชโดยการตงคา B = 0 ในการเพมประสทธภาพปญหา แตแรก ทสอดคลองกนสองจะเหมอนกบคดงกลาวขางตนโดยไม จากด ความเสมอภาค

ข

เ

2.6. TraTransduc

ขอความบางส

ตวอยางการทเวกเตอรจะถก

ลด (ใน W ,

12

|

ภายใต (สาห

และการ

Transductive

0

ansductive ctive เครองเวสวนในกงภาย

|

ทดสอบเพอใหกกาหนดโดย

b , )

| |

รบการใด ๆ

··

1,1

e เครองเวกเต

0

วกเตอรสนบสยใตการดแลก

หไดรบการจการเพมประส

1 1

ตอรมการแนะ

สนนการขยายการเรยนร ทน

, 1

ดชน อยางเปสทธภาพดงต

และใด

1

ะนาสนบสนน

ย SVMs ในทนนอกเหนอจา

ปนทางการ กาตอไปนปญหา

ๆ

นโดย Vladim

พวกเขายงสาากการฝกอบร

ารสนบสนนเาแรก :

)

mir Vapnik ใน

ามารถปฏบตตรมทตงไว D

เครอง transdu

นป 1998

ตอขอมลทม

uctive

เ

กข

อMรm

เ

2.7. คณ

SVMเปนกรณพเศษ

การทดลองกาขอบ .

แยกแยะเปรย

2.8. อตร

ในปอนญาตใหสาMargin ซอฟระยะทางเพอmisclassificat

ปดระหวเพมประสทธ

min

ภายใต (สาห

ณสมบต

Ms อยในทวไปษของ regular

ารจดหมวดห

ยบเทยบอน ๆ

ราซอฟท

1995 Corinnาหรบตวอยางฟทจะ hyperplแยกทใกลทสtion และ

·

างขอบขนาดภาพ :

n ,12

รบการใด ๆ

·

ปในครอบครrization Tikh

หมและเพมอต

ๆ ของการ SV

na Cortes และง mislabeled [

ane วธการเลสดตวอยางเรย

1

ดใหญและขอผ

| |

1

รวของ แยกแยhonov คณสม

ตราเรขาคณต

VM ไดรบการ

ะ Vladimir V[2] ถามการทไอก แยกตวอยยบรอย วธแน

ผดพลาดการล

)

ยะเชงเสน . พมบตพเศษกคอ

ตดวยเหตนพว

รทาโดยเมเยอ

Vapnik แนะนไมสามารถแยยางเปนอยางสนะนาตวแปรห

1

ลงโทษเลก ๆ

0

พวกเขายงสามอพวกเขาพรอ

วกเขาเปนทรจ

ร, Leisch แล

าการปรบเปลยก hyperplaneสะอาดทสดใหยอน ทวด

ฟงกชนเชงเส

มารถไดรบกาอมกนลดขอผ

จกกนวาสงส

ะ Hornik

ลยนความคดอe วา"ใช"และนขณะทยงคงดระดบความ

สนจะกลายเป

ารพจารณาผดพลาดใน

สด แยกแยะ

อตราสงสดท"ไม"ตวอยางงเพม

ปนปญหาการ

ง

ร

ขอ จากด ในการน (2) พรอมกบวตถประสงคของการลด จะสามารถแกไขไดโดยใช ตวคณลากรานจ ทาไวขางตน หนงไดแลวในการแกปญหาตอไปน

min , , max ,12 || ||

· 1

ดวย , 0

ประโยชนหลกของการปรบสมการเชงเสนคอตวแปรหยอนหายไปจากปญหาคกบ C คงปรากฏเปนเพยงขอ จากด เพมเตมเกยวกบตวคณลากรานจ สาหรบการกาหนดขางตนและผลกระทบอยางมากในทางปฏบต Cortes และ Vapnik 2008 ไดรบ รางวลปารส Kanellakis ACM ไมเปนเสนตรงฟงกชนไดถกนามาใชโดยเฉพาะอยางยงในการลดผลกระทบของคาผดปกตในตวจาแนก แตถาจะมาดแลปญหาจะกลายเปนเสนโคงไมมากดงนนจงเปนการยากทจะหาวธทวโลก

2.9. การจดหมวดหมไมเชงเสน

ขนตอนวธทดทสด hyperplane เดมทเสนอโดย Vladimir Vapnik ในป 1963 เปน ตวจาแนกเชงเสน อยางไรกตามในป 1992, เบอรนารด Boser , อซาเบล Guyon และ Vapnik แนะนาวธการไมเชงเสนสรางแยกแยะโดยใช เคลดลบเคอรเนล (เดมทเสนอโดย Aizerman et al) เพอ hyperplanes อตราสงสด ขนตอนวธการทเกด เปนอยางเปนทางการทคลายกนยกเวนวาทก จดของผลตภณฑ จะถกแทนทโดยไมเปนเสนตรง เคอรเนล ทางาน นจะชวยใหเปลยนขนตอนวธเพอใหพอดกบสงสด margin - hyperplane ใน พนทคณลกษณะ . การเปลยนแปลงอาจจะไมเปนเสนตรงและพนทแปลงสงมตดงนนแมวาตวจาแนกเปน hyperplane ในพนทคณลกษณะสงมตนนอาจจะไมเปนเสนตรงในพนทเขาเดม

หากใช Gaussian ฟงกชนพนฐานแนวรศม , คณสมบตพนททสอดคลองกนเปน พนท Hilbert ของมตอนนต สงสดแยกแยะทขอบเปนอยางด regularized ดงนนมตทสนสดไมเสยผล บางเมลดทวไปรวมถง

• พหนาม (ทเปนเนอเดยวกน) : , ·

• พหนาม (inhomogeneous) : , · 1

• Radial Basis Function : , exp | |

สาหรบγ > 0

• Gaussian ฟงกชนพนฐานแนวรศม : , exp | |

• สมผสซงเกนความจรง : , tanh KX · X c

สาหรบบางคน (ไมทกคน) κ> 0 และ c <0

เมลดมความสมพนธกบการแปลง φ โดยสมการ , φ · φ w คานยงมในพนทแปลงดวย ∑ ผลตภณฑ Dot กบ w สาหรบการจดหมวดหมไดอกครงจะคานวณโดยการหลอกลวงใหเคอรเนลคอ

· ∑ , แตมไมไดโดยทวไปอย w คาเชนท ·,

เไกกม

ขท

4

รปท 2.10.1

การกเปนโคงและไไมเปนเสนตรการเชงเสน 2กบ ELMap2Dมการผลตโดย

สวนใหญเปนขนตอนวธ PCทสด เพอจดช


Linear PCA

กาหนดคาของไมสามารถแมรงพกด (ELM

2D หลายเทา PD และลกษณย แผนทยดห

นวธการททนCA หรอ K - ชดขอมลของเ

a.org/wiki/Principa

A เมอเทยบกบ

งโหนดและพมปอยางเพยงพMap2D) รวมกPCA (PCA2Dณะของการกระยน ขนตอนว

นสมยสาหรบ หมายความวเสนหลก เสน

al_component_anal

บทอรวมทสาคนม micr

พนผว 2 มตทสพอในระนาบกบการประมาD) "ฐาน"มะเะจายเปนมตทวธ ขอมลทใช

การลดมตกาา ตนฉบบคว

นโคง และ ทอร

ysis

คญไมเปนเชงroarray 4 สาคญในเชงเบหลก 2D การาณคาของควาเรงเตานมชนทดกวาเมอเปรชไดสาหรบกา

ารไมเชงเสน ทวามคดของเพรวม ใหกรอบ

งเสน สาหรบ

เสน 3 มตหลารกระจายในภามหนาแนน เดยอยคอมองรยบเทยบกบารแขงขนสาธ

ทฤษฎและกาพยรสนคอการบทรงเรขาคณ

บ การแสดง ข

ายตอ PCA ชายในพนผว 2เชนเดยวกบ แเหนมากขนอ PCA2D ทอธารณะ

ารหารากของพรใชเสนตรง ซณต

ของ มะเรงเตา

ชดขอมลท2 มตทสาคญแตสาหรบอยางเพยงพออรวมทสาคญ

พวกเขาในซงจะถก ด

า

ทเ

นก

ต

5

2.10.

ประส

ทแตกตางกนเกบ พยายาม

นาเชอถอของการทดสอบแ

2.10.1 ว

ตง

เกลยวขอมลผม y 5 http://www.

การเลอก

สทธผลของ S

ของ C, γ) คมชแจงลาดบก

งทดทสดคอเลและจดหมวดห

วเคราะหเชงเ

กบขอม SV

y = 1 สาหรบ

.springerlink.

กพารามเตอ

SVM ตงอยใน

า (จะถกทดสการเจรญเตบโ

ลอกไวสาหรหมขอมลใหม

เสนกาลงสอง

มลนาเขา M ตวจาแนก

รปท2

บขอมลทผมสฟาจ

.com/index/k

อร

นการเลอกขอ

สอบและดทสโตของซเปนว

; บสมมตฐานกมในชนเรยนโ

งนอยทสด

และกตาม Vapnik

.125 จาแนกต

ด y = -- 1 ข

km7krm46802

องเคอรเนลแล

ดหนงเดยวกบวธการปฏบตเ

การจดหมวดหโดยเฉพาะ

ะสอดคลองปาk 's สตรเดมตร

ตามกฏของ V

ขอมลจดสแดง

2r2114.pdf

ละพารามเตอ

บ การตรวจสเพอระบคาพา

หม ขอนใชเฉ

ายชอชนเลขฐรงเงอนไขดง

Vapnik

ง

รขอบนม สา

สอบขาม ความารามเตอรทด

) หนงฉพาะในอนา

ฐานสอง ตอไปน

าหรบเมลด, ค

มถกตองถก (ตวอยางเชน

งทมความคตสาหรบ

ค

น

ซงเทยบเทากบ

ทφ (x) มพนทไมเชงเสนแผนทตนฉบบจากพนทเพอสง (อาจจะเปนทสนสดและมต)

2.10.2 ขอมลแยกออกไมได

ในกรณท hyperplane แยกดงกลาวไมอยใหเราแนะนาตวแปรหยอนξฉนเรยกวาดงกลาววา

ตาม การลดความเสยงทมโครงสรางเปน หลกการบรหารความเสยงถกผกไวเปนลดโดยการลดปญหาดงตอไปน

รปท2.12.1 ผลของตวจาแนก SVM6

ท เปน ตวคณ Lagrangian . จะอยในจดทเหมาะสม จดอาน , ฟงกชน Lagrangian จากนนเราของรบ

โดยแทน w จากการแสดงออกของเราจะไดรบการเขยนโปรแกรมดงตอไปนปญหาสมการกาลงสอง :

ท เรยกวาการ ทางานของเคอรเนล . การแกปญหาเรองน QP เพอ constrains ใน (8) เราจะไดรบ hyperplane ในมตพนทสงและดวยเหตน ตวจาแนก ในพนทเดม

2.10.3 กาหนด SVM

อยางนอยรนทสองของตวจาแนก SVM reformulating ไดมาจากการลดปญหาดงน

ภายใตขอ จากด ของความเสมอภาค :

6 http://www.springerlink.com/index/km7krm46802r2114.pdf

SVM (LS - SVM) การกาหนดตวจาแนกอยางนอยขางตนโดยปรยายสอดคลองกบ การถดถอย การตความกบเปาหมายไบนาร .

โดยใช เราได

y i -- (w φ T (x i) + B)

ดงนนการกาหนดตวจาแนก LS - SVM จะเทากบ

ดวย และการ

รปท 2.12.2 ผลของตวจาแนก LS - SVM7

7 http://www.springerlink.com/index/km7krm46802r2114.pdf

เ

เเ

ทงสอง แล

เทยบกบผลรว

เดมเปนเพยงกเบสเพอ LS -

regressor โซ

ท

w กาจดและ

ดวย เม

ละ ควรไดวมความผดพ

การปรบแตงพ SVM

ซลชน LS - SV

เปนตวคณล

e จะทาให ระ

มทรกซเอกลก

ดรบการพจาร

พลาดยกกาลงส

พารามเตอรγ

VM ของจะได

ลากรานจ เงอ

ะบบเชงเสน แ

, กษณ และ

รณาเปน hype

สอง แกปญห

γ เราใชทง

ดหลงจากทเร

อนไขสาหรบ

แทนการ เขยน

erparamters เพ

หาไมเพยงขน

และ เป

ราสราง ฟงกช

optimality เป

นโปรแกรมก

และก

พอปรบจานว

นอยกบอตราส

ปนพารามเตอ

ชน Lagrangia

ปน

กาลงสอง ปญ

าร

วนของ regula

สวนγ = จ

อรเพอใหการต

an :

หา :

arization เมอ

จงจะใชสตร

ตความแบบ

เป

K คอเมทรกซเคอรเนลทกาหนดโดยΩฉน j = φ (x i T) φ (x j) = (x i, x j)

2.11. Multiclass SVM

Multiclass SVM มวตถประสงคเพอกาหนดปายกากบใหกบอนสแตนซโดยใชเครองเวกเตอรสนบสนนทปายชอมาจากเซตขององคประกอบหลาย วธการมอานาจเหนอสาหรบการทาเชนนนคอการลดเดยว multiclass ปญหา ในหลาย ประเภทไบนาร ปญหา แตละปญหาผลผลตตวจาแนกฐานสองซงจะถอวาฟงกชนการผลตผลผลตทใหคามากนกสาหรบตวอยางจากระดบบวกและคาขนาดทคอนขางเลกสาหรบตวอยางทอยในระดบตดลบ มสองวธรวมกนเพอสรางแยกแยะไบนารดงกลาวแตละตวจาแนกทแตกตางระหวาง (i) หนงในปายชอทเหลอ (ONE - กบ - all) หรอ (ii) ระหวางทกคของคลาส (ONE - กบ - one) การจดประเภทของอนสแตนซใหมสาหรบหนงเมอเทยบกบ - กรณทงหมดจะกระทาโดยผชนะจะใชเวลา - กลยทธทงหมดทมฟงกชนตวจาแนกออกสงสดกาหนดชน (มนเปนสงสาคญทฟงกชนออกจะปรบคะแนนในการผลตเทยบเทา) สาหรบหนงเมอเทยบกบ - one วธการจาแนกสามารถทาไดดวยการกลยทธการลงคะแนนชนะ - Max ซงในทกลกษณนามเชนกาหนดใหเปนหนงในสองชนเรยนแลวใหคะแนนสาหรบชนเรยนไดรบมอบหมายทเพมขนหนงเสยงและสดทาย ชนดวยคะแนนเสยงสวนใหญจะกาหนดประเภทอนสแตนซ

บทท 3 การประยกตใชงาน

3.1. โครงขายประสาทเทยม

โครงขายประสาทเทยม (Artificial neural network) หรอทมกจะเรยกสน ๆ วา ขายงานประสาท (neural network หรอ neural net) คอโมเดลทางคณตศาสตร สาหรบประมวลผลสารสนเทศดวยการคานวณแบบคอนเนคชนนสต (connectionist) เพอจาลองการทางานของเครอขายประสาทในสมองมนษย ด วยวตถประสงค ทจะสร างเครองมอซงมความสามารถในการเรยนร การจดจาแบบรป(Pattern Recognition) และการอปมานความร ( Knowledge deduction) เชนเดยวกบความสามารถทมในสมองมนษย แนวคดเรมตนของเทคนคนไดมาจากการศกษาขายงานไฟฟาชวภาพ (bioelectric network) ในสมอง ซงประกอบดวย เซลลประสาท และ จดประสานประสาท (synapses) แตละเซลลประสาทประกอบดวยปลายในการรบกระแสประสาท เรยกวา "เดนไดรท" (Dendrite) ซงเปน input และปลายในการสงกระแสประสาทเรยกวา "แอคซอน" (Axon) ซงเปนเหมอน output ของเซลล เซลลเหลานทางานดวยปฏกรยาไฟฟาเคม เมอมการกระตนดวยสงเราภายนอกหรอกระตนดวยเซลลดวยกน กระแส

ประสาทจะวงผานเดนไดรทเขาสนวเคลยสซงจะเปนตวตดสนวาตองกระตนเซลลอน ๆ ตอหรอไม ถากระแสประสาทแรงพอ นวเคลยสกจะกระตนเซลลอน ๆ ตอไปผานทางแอคซอนของมน

3.1.1. โครงสราง

นกวจยสวนใหญในปจจบนเหนตรงกนวาขายงานประสาทเทยมมโครงสรางแตกตางจากขายงานในสมอง แตกยงเหมอนสมอง ในแงทวาขายงานประสาทเทยม คอการรวมกลมแบบขนานของหนวยประมวลผลยอย ๆ และการเชอมตอนเปนสวนสาคญททาใหเกดสตปญญาของขายงาน เมอพจารณาขนาดแลวสมองมขนาดใหญกวาขายงานประสาทเทยมอยางมาก รวมทงเซลลประสาทยงมความซบซอนกวาหนวยยอยของขายงาน อยางไรกดหนาทสาคญของสมอง เชน การเรยนรยงคงสามารถถกจาลองขนอยางงายดวยโครงขายประสาทน

3.1.2. หลกการ

สาหรบในคอมพวเตอร Neurons ประกอบดวย input และ output เหมอนกน โดยจาลองให input แตละอนม weight เปนตวกาหนดนาหนกของ input โดย neuron แตละหนวยจะมคา threshold เปนตวกาหนดวานาหนกรวมของ input ตองมากขนาดไหนจงจะสามารถสง output ไปยง neurons ตวอนได เมอนา neuron แตละหนวยมาตอกนใหทางานรวมกนการทางานนในทางตรรกแลวกจะเหมอนกบปฏกรยาเคมทเกดในสมอง เพยงแตในคอมพวเตอรทกอยางเปนตวเลขเทานนเอง

3.1.3. การทางาน

การทางานของ Neural networks คอเมอม input เขามายง network กเอา input มาคณกบ weight ของแตละขา ผลทไดจาก input ทก ๆ ขาของ neuron จะเอามารวมกนแลวกเอามาเทยบกบ threshold ทกาหนดไว ถาผลรวมมคามากกวา threshold แลว neuron กจะสง output ออกไป output นกจะถกสงไปยง input ของ neuron อน ๆ ทเชอมกนใน network ถาคานอยกวา threshold กจะไมเกด output

สงสาคญคอเราตองทราบคา weight และ threshold สาหรบสงทเราตองการเพอใหคอมพวเตอรรจา ซงเปนคาทไมแนนอน แตสามารถกาหนดใหคอมพวเตอรปรบคาเหลานนไดโดยการสอนใหมนรจก pattern ของสงทเราตองการใหมนรจา เรยกวา "back propagation" ซงเปนกระบวนการยอนกลบของการรจา ในการฝก feed-forward neural networks จะมการใชอลกอรทมแบบ back-propagation เพอใชในการปรบปรงนาหนกคะแนนของเครอขาย (network weight) หลงจากใสรปแบบขอมลสาหรบฝกใหแกเครอขายในแตละครงแลว คาทไดรบ (output) จากเครอขายจะถกนาไปเปรยบเทยบกบผลทคาดหวง แลวทาการคานวณหาคาความผดพลาด ซงคาความผดพลาดนจะถกสงกลบเขาสเครอขายเพอใชแกไขคา

นาหนกคะแนนตอไป อยางเชนจะรจารปสามเหลยม กบรปสเหลยม เราอาจแบง input เปน 9 ตวคอเปนตาราง 3x3 ถาวาดรปสเหลยมหรอสามเหลยมใหเตมกรอบ 3x3 พอด สเหลยมจะมสวนของขอบอยในชอง 1,2,3,4,6,7,8,9 กสมมตใหนาหนกตรงชองเหลานมคามาก ๆ ถามเสนขดผานกเอามาคณกบนาหนกแลวกเอามารวมกน ตงคาใหพอเหมาะกจะสามารถแยกแยะระหวางสเหลยมกบสามเหลยมได ซงนคอหลกการของ neural network

3.1.4. การประยกตใชงาน Neural Network

แบบขายงานระบบประสาท (Neural Network) เนองจากความสามารถในการจาลองพฤตกรรมทางกายภาพของระบบทมความซบซ อนจากขอมลทปอนใหเรยนร การประยกตใชขายงานระบบประสาทจงเปนทาง

เลอกใหมในการควบคม ซงมผนามาประยกตใชงานหลายประเภท ไดแก

• งานการจดจารปแบบทมความไมแนนอน เชน ลายมอ ลายเซนต ตวอกษร รปหนา

• งานการประมาณคาฟงกชนหรอการประมาณความสมพนธ (ม inputs และ outputs แตไมทราบวา inputs กบ outputs มความสมพนธกนอยางไร)

• งานทสงแวดลอมเปลยนแปลงอยเสมอ (วงจรขายนวรอลสามารถปรบตวเองได)

• งานจดหมวดหมและแยกแยะสงของ

• งานทานาย เชนพยากรณอากาศ พยากรณหน

• การประยกตใชขายงานระบบประสาทควบคมกระบวนการทางเคมโดยวธพยากรณ แบบจาลอง (Model Predictive Control)

• การประยกตใชขายงานระบบประสาทแบบแพร กระจายกลบในการทานายพลงงานความ

รอนทสะสมอย ในตวอาคาร

• การใชขายงานระบบประสาทในการหาไซโครเมตรกชารท การประยกตใชขายงานระบบประสาทควบคมระบบ HVAC

บทท 4 สรป

4.1. ขอสรป

วธการ Support Vector Machines ปจจบนไดรบความนยมอยางแพรหลายอยในรปผลงานหลายๆรปแบบ เพราะวธการคานวนของ Support Vector Machines ไดความแมนยาเกอบ 100% จงเปนเหตผลหลกทวธการ Support Vector Machines ไดรบความนยม เนองจากใช วธการสถต วธการถดถอยมาคานวณหาขอสรปในรปแบบตางๆ ดวยวธการทแมนยาจากการคานวณ จงทาใหวธการ Support Vector Machines ประยกตใชกบผลตภณฑทใชการวเคราะหขอมล การแยกขอมลออกเปนแตละประเภท การจงเจาะขอมลบางประเภท

การ Support Vector Machines ใชหลกการทางคณตศาสตรมาคานวณ ทางสถต การถดถอย สามารถใชกบขอมลหลายรปแบบทจะนามาวเคราะห ในการวเคราะหขอมลแตละประเภทหลกการวเคราะหขอมลกแตกตางตามขอมลของแตละประเภท ตวทบงชการวเคราะหคอ ลกษณะทบงชขอมลเฉพาะทอางองถงทขอมลทนามาวเคราะห

Support Vector Machines เปนวธการทนามาใชในดานการแพทย ดานเทคโนโลย ดานเจาะจงตวบคคล และดานอนๆ จงเหมาะแกการพฒนาเปนผลตภณฑทชวยแยกขอมลในดานตางๆในอนาคต

บรรณานกรม

• http://www.support-vector.net/icml-tutorial.pdf

• http://www.cs.columbia.edu/~kathy/cs4701/.../jason_svm_tutorial.pdf

• http://www.svms.org/tutorials

• http://www.autonlab.org/tutorials/svm.html

• http://www.dtreg.com/svm.htm

• http://www.cs.brown.edu/courses/archive/2006-2007/.../Burges98.pdf

• http://www.support-vector-machines.org/SVM_review.html

• http://www.springerlink.com/index/km7krm46802r2114.pdf

Svm

Documents

Transcript of Svm