تعميم در يادگيري مبتني بر نمونه ها
description
Transcript of تعميم در يادگيري مبتني بر نمونه ها
تعميم در يادگيري مبتني بر نمونه ها
ارائه دهنده: الهام باوفای حقیقیاستاد درس: آقای دکتر شيري
دانشگاه امير كبير مهندسي كامپيوتر و فناوري دانشكده
اطالعات
فهرست
باوفا الهام ها 2 نمونه بر مبتني يادگيري در تعميم
مقدمه•تعميم و متناسب سازي•شبه جواب در مسايل معكوس•يادگيري از داده ها با روش •
معكوسفضاي بازتوليد هسته هيلبرت•يادگيري از داده ها با روش •
معكوس و هستهمزاياي بكارگيري هسته ها•جمع بندي•
مقدمه
باوفا الهام ها 3 نمونه بر مبتني يادگيري در تعميم
يادگيري بر اساس داده
تبديل تابعي
مسئله معكوس
تعميم و متناسب سازي
باوفا الهام ها 4 نمونه بر مبتني يادگيري در تعميم
انتخاب مدل )فرضيه( •مناسب
بدست آوردن •پارامترهاي مناسب
دو مسئله اصلي در يادگيري
(Over fittingبيشترين برازش ) متناسبترين برازش
(Regularization)روش مستقيم )بهترين •
برازش تصحيح(روش غير مستقيم•
متناسب سازي مستقيم (1)
باوفا الهام ها 5 نمونه بر مبتني يادگيري در تعميم
Tikhonov RegularizationRidge Regrssion
روش بيزيساختار
داده ها
خطاي آموزشي
پايدار كننده )جريمه(
پارامتر متناسب سازي
متناسب سازي مستقيم (1)
باوفا الهام ها 6 نمونه بر مبتني يادگيري در تعميم
پايدار كننده )جريمه(
نرم كننده
جريمه فركانسها
ي باالفيلتر فركانس باال:
نرم وزن دار
متناسب سازي مستقيم (2)
باوفا الهام ها 7 نمونه بر مبتني يادگيري در تعميم
Tikhonov RegularizationRidge Regrssion
روش بيزي
متناسب سازي مستقيم (3)
باوفا الهام ها 8 نمونه بر مبتني يادگيري در تعميم
Tikhonov RegularizationRidge Regrssion
روش بيزي
max
min
خطاي آموزشي
پايدار كننده )جريمه(
متناسب سازي مستقيم
مشكالت
باوفا الهام ها 9 نمونه بر مبتني يادگيري در تعميم
نقطه ضعف: ساختار يكتوابع متناسب ساز بايد
و متقارن داشته باشند.يكنواختاما
وجود چند زير ساختار گسسته-مقياس مناسب مدل )فرضيه(-
مشكل اصلي: مقدار پارامتر متناسب سازي
متناسب سازي غير مستقيم
باوفا الهام ها 10 نمونه بر مبتني يادگيري در تعميم
اضافه كردن نويز به نمونه هااضافه كردن نويز به پارامتر
اتمام پروسه يادگيري پيش از همگرايي
داراي همان نقاط ضعف و
مشكالت متناسب سازي غير
مستقيم است
شبه جواب در مسايل معكوستعريف مسئله
باوفا الهام ها 11 نمونه بر مبتني يادگيري در تعميم
Computer Tomography
The amount of absorption
شبه جواب در مسايل معكوس خصوصيات راه حل
باوفا الهام ها 12 نمونه بر مبتني يادگيري در تعميم
dyyfyxKg x )()( )( gfA )(
Given g in Y, we are looking for f in X such that A( f ) = g.
• Existence : For each g in Y there is at least one f in X such that A( f ) = g
• Uniqueness : For each g in Y there is at most one f in X such that A( f ) = g
• Stability : f depends continuously on g
Well Posed Condition
شبه جواب در مسايل معكوس
بدست آوردن شبه جواب (1)
باوفا الهام ها 13 نمونه بر مبتني يادگيري در تعميم
)(
)(
)(
)(
)(
)(
1
0
,2,1,
,22,21,2
,12,11,1
1
0
nnnnn
n
n
n
n xf
xf
xf
KKK
KKK
KKK
C
xg
xg
xg
dyyfyxKg x )()( )( )(, jiji xxKK
fg A
بدليل ارضا نشدن داريشرايط
م
Well Posed Condition
Ill Posed Condition
شبه جواب در مسايل معكوس
بدست آوردن شبه جواب (2)
باوفا الهام ها 14 نمونه بر مبتني يادگيري در تعميم
fg A
تخمين حداقل مربعات خطا
gAf
شبه جواب در مسايل معكوس
حساسيت شبه جواب
باوفا الهام ها 15 نمونه بر مبتني يادگيري در تعميم
بازاي مقادير بزرگ
شرايط مريض داريم
متناسب كردن پاسخ
باوفا الهام ها 16 نمونه بر مبتني يادگيري در تعميم
شبه جواب در مسايل معكوس
متناسب سازي جواب
يادگيري از داده ها با روش معكوستبديل مسئله يادگيري به يك مسئله
معكوس
باوفا الهام ها 17 نمونه بر مبتني يادگيري در تعميم
باوفا الهام ها 18 نمونه بر مبتني يادگيري در تعميم
يادگيري از داده ها با روش معكوسبررسي شرايط مسئله معكوس جديد
تبديل فضا
فضاي بازتوليد هسته هيلبرتReproducing Kernel Hilbert Space (RKHS)
فضاي بازتوليد هسته هيلبرت
خصوصيات
باوفا الهام ها 19 نمونه بر مبتني يادگيري در تعميم
RKHS به صورت يكتا توسط يككرنل شبه مثبت معين
متقارن تعريف مي شود
باوفا الهام ها 20 نمونه بر مبتني يادگيري در تعميم
فضاي بازتوليد هسته هيلبرت
خصوصيت بازتوليد
باوفا الهام ها 21 نمونه بر مبتني يادگيري در تعميم
فضاي بازتوليد هسته هيلبرت برخي توابع
يادگيري از داده ها با روش معكوس و هسته
بيشترين برازش
باوفا الهام ها 22 نمونه بر مبتني يادگيري در تعميم
باوفا الهام ها 23 نمونه بر مبتني يادگيري در تعميم
يادگيري از داده ها با روش معكوس و هسته
متناسب ترين برازش
به دليل وجود ضريب
بايد كوچك انتخاب شود
احتمال منفرد بودن ماتريس را كاهش مي دهد
مزاياي بكارگيري هسته ها
باوفا الهام ها 24 نمونه بر مبتني يادگيري در تعميم
- تغيير فضا در ماشينهاي 1بردار پشتيبان
- اعمال جريمه براي 2فركانسهاي باال
نسخه آنالوگنسخه
ديجيتال )تئوري
Mercer) - توابع ارزيابي پيوسته و سهولت تعريف ترم 3متناسب ساز
جمع بندي
باوفا الهام ها 25 نمونه بر مبتني يادگيري در تعميم
متناسبترين برازش
يادگيري از داده
استفاده از روشهاي مسائل معكوس
جهت RKHSاستفاده از تبديل فضا
احتمال منفرد بودن ماتريس را كاهش مي دهد
متناسب سازي
پيوستگي و اعمال برخي جريمه ها
باوفا الهام ها 26 نمونه بر مبتني يادگيري در تعميم
باتشکر از توجه شما
فضاي هيلبرت
باوفا الهام ها 27 نمونه بر مبتني يادگيري در برگشتعميمت
فضاي خطي نرم دار را همگرايياز طريق نرم مي توان نشان داد
دنباله به همگرا است اگر .
است اگر دنباله كوشي دنباله يك .
هر دنباله كوشي به يك بردار همگرا فضا كاملشود،
فضاي كامل و داراي ضرب داخلي، فضاي هيلبرت
}{ kxx
}{ kx
يادآوري
باوفا الهام ها 28 نمونه بر مبتني يادگيري در برگشتعميمت
نرمها
بردار
تابع
ضربداخلي
بردار
تابع
Mercer (1) تئوري
باوفا الهام ها 29 نمونه بر مبتني يادگيري در برگشتعميمت
Mercer (2) تئوري
باوفا الهام ها 30 نمونه بر مبتني يادگيري در برگشتعميمت