スパース性に基づく機械学習 3.2 L1ノルム正則化
-
Upload
akiyoshi-hara -
Category
Data & Analytics
-
view
256 -
download
1
Transcript of スパース性に基づく機械学習 3.2 L1ノルム正則化
![Page 1: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/1.jpg)
スパース性に基づく機械学習~3.2 l1ノルム正則化~
@gen_goose_gen
![Page 2: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/2.jpg)
自己紹介と注意
● @gen_goose_gen● 某高専 電気系学科 卒業
● 関西の某国立大の情報系学科に編入(作成時B3)
● 情報・機械学習ともに初学者– 間違えている可能性があるので疑問がある場合は上記の
ツイッターアカウントまでご一報ください
![Page 3: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/3.jpg)
発表スタンス
● テキストの式について追っていきます
● テキストが間違えていそうなところがあるのでそこは随時皆様と確認していきます
● 参考文献に投げている部分は認めるものとして発表します(全部探して読む時間なんてありませんでした…)
● 実装系は実行できてないです…
![Page 4: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/4.jpg)
スライドで用いる表記
● スカラー:ローマン体
● ベクトル:小文字のボールド体
● 行列:大文字のボールド体
● 集合:カリグラフィー文字
(特に断らない場合列ベクトルとする)
![Page 5: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/5.jpg)
導入◯2.1:スパース性を導入
→同程度の誤差を持つものならその中でパラメータ数 が少ないものが嬉しい
→同程度のパラメータ数をもつならその中で誤差が小 さいものが嬉しい
![Page 6: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/6.jpg)
導入◯2.1:スパース性を導入
→同程度の誤差を持つものならその中でパラメータ数 が少ないものが嬉しい
→同程度のパラメータ数をもつならその中で誤差が小 さいものが嬉しい
探索にかかる計算量が膨大 (組み合わせ爆発)
→代わりの方法が必要
![Page 7: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/7.jpg)
l1ノルム
→非ゼロ要素の数を表現する指標としてl1ノルムを導入
パラメータベクトルの非ゼロ要素数をカウント
カウントと同じ性質:非ゼロ要素数が増えるほど大きくなる
カウントと違う性質:非ゼロ要素の大きさも加味して評価 (ベクトルの長さに比例する)
![Page 8: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/8.jpg)
l1ノルム正則化付き学習
が凸関数→凸最適化問題へ
:正則化パラメータ
凸関数の条件:
![Page 9: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/9.jpg)
l1ノルム正則化の効果の例~パラメータが1次元の場合~
青:誤差関数
緑:正則化項
赤:誤差関数と正則化項の和の1階(劣)微分(勾配)
λ=0 λ:小 λ:大
![Page 10: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/10.jpg)
l1ノルム正則化の効果の例~パラメータが1次元の場合~
誤差関数と正則化項の和が最小になる点(求めたいパラメータの値)
λ=0 λ:小 λ:大
![Page 11: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/11.jpg)
l1ノルム正則化の効果の例~パラメータが1次元の場合~
λ=0 λ:小 λ:大
λ>0の時、誤差関数の軸上では勾配は一意に定まらない(範囲幅が2λの集合値を取る)
λ>0の時、誤差関数の軸上では勾配は一意に定まらない(範囲幅が2λの集合値を取る)
![Page 12: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/12.jpg)
l1ノルム正則化の効果の例~パラメータが1次元の場合~
λ=0 λ:小 λ:大
大きくするに連れて軸に近づく
ある大きさ以上のλになるとそれ以上大きくしても誤差関数と正規化項の和を最小にするパラメータの値がゼロになる
正規化パラメータを大きくすることによってl1ノルムでスパースな解が得られる
![Page 13: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/13.jpg)
l1ノルム正則化の効果の例~パラメータが2次元の場合~
楕円:誤差関数の等高線
破線:各λに対するl1ノルムの制約集合(ノルムサイズを決めた時の軌跡)
![Page 14: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/14.jpg)
l1ノルム正則化の効果の例~パラメータが2次元の場合~
大きくなるほどある方向へ近づく
ある1つのパラメータがゼロになった
正規化パラメータを大きくすることによってl1ノルムでスパースな解が得られる
![Page 15: スパース性に基づく機械学習 3.2 L1ノルム正則化](https://reader030.fdocument.pub/reader030/viewer/2022021503/5a6478ac7f8b9a46568b45ed/html5/thumbnails/15.jpg)
ありがとうございました!