パターン認識と機械学習 S4.3

確率的識別モデル__youki__2012.09.02

確率的識別モデルの位置づけ（参照 :1.5.4 ） 確率的生成モデル（ Probabilistic generative model ）

推論段階：クラスの事後確率を間接的にモデル化する 訓練データを用いてクラスに関する条件付き確率と事前確率を決める推論問題を解く． その後とをベイズの定理に適用し，事後確率を求める．

決定段階：決定理論によって新たな入力のクラス属性を決定する

確率的識別モデル（ Probabilistic discriminative model ） 推論段階：クラスの事後確率を直接的にモデル化する

訓練データを用いてクラスの事後確率を決める推論問題を解く． 決定段階：決定理論によって新たな入力のクラス属性を決定する

識別関数 推論段階：識別関数を決める

訓練データから入力を直接クラス属性に写像する識別関数を見つける． 決定段階：識別関数によって新たな入力のクラス属性を決定する

アプローチの比較

アプローチ 次元特徴空間におけるモデルパラメータの数

特徴

確率的生成モデル（ Probabilistic generative Model ）

完璧主義者

確率的識別モデル（ Probabilistic discriminative

model ）

現実主義者

識別関数 - 楽観主義者

パターン認識と機械学習 S4.3.1

固定基底関数__youki__2012.09.02

4.3.1 固定基底関数の目的

(𝑥1 , 𝑥2) ¿

入力を非線形変換することで線形識別モデルを適用できるようにする

4.3.1 固定基底関数を使う上での注意点 非線形変換の限界

多くの現実の問題ではクラスの条件付き確率密度が著しく重なりあっているが，非線形変換ではこの重なりを除去することはできない

固定基底関数モデルの限界 入力の次元数が増えるとともに固定基底関数を決定するために必要な

計算量が増大するという問題がある．これは入力が次のような特徴を持つときに回避可能である（ p.172 ）

入力の本質的な次元数が入力空間の次元数よりも小さい非線形多様体上に大体分布している（参考： RBF ネットワーク， SVM ，関係ベクトルマシン，ニューラルネットワーク）

目標変数が入力が構成するデータ多様体のほんの少数の可能な方向にのみ強く依存する（参考：ニューラルネットワーク）

パターン認識と機械学習 S4.3.2

ロジスティック回帰__youki__2012.09.02

ロジスティック回帰 ロジスティック回帰

2 クラス分類における一般化線形モデル ロジスティック回帰における事後分布

ただしはロジスティックシグモイド関数 (logistic sigmoid function ） ロジスティック回帰のメリット（確率的識別モデルのメリッ

ト） ガウス分布を用いた確率的生成モデルにおけるパラメータ数は特徴空

間の次元 M の 2 乗で増加するが，ロジスティック回帰におけるパラメータ数は特徴空間の次元 M に線形増加する．

復習：ロジスティックシグモイド関数

𝑎=𝐰 𝑇𝜙

𝑝 (𝐶1|𝜙 )

𝑝 (𝐶2|𝜙 )

特徴：対して対称

ロジスティック回帰モデル 決定するべきパラメータ

尤度関数

誤差関数（交差エントロピー誤差関数）

誤差関数の勾配

※ となるようなパラメータが最尤解となるが，解析的には求めることができない．　 4.3.3 節では確率的勾配降下法を適用することで最尤解を求める方法が提示されている．

尤度関数

データ集合，であり，でに対する尤度関数は以下の通りである

(4.89)

ここで，は目標変数であり，具体的にはのとき入力はクラス属性から得られた観測値である．また，であり，である．

誤差関数

尤度関数の負の対数を誤差関数と定義する

(4.90)

誤差関数の勾配

誤差関数の勾配　：

(4.90)

この導出にはロジスティックシグモイド関数の微分結果を用いる

(4.88)

演習 4.12ロジスティックシグモイド関数の微分

(4.88)

※ とおいた

演習 4.13誤差関数の勾配を求める まず，をで微分すると次の結果が得られる

(1)

次に， (1) の結果を用いてをで微分するとが得られる

(4.91)

演習 4.14線形分離可能なデータ集合に対する最尤解 データ集合が線形分離可能となる条件は次の通り

　となるすべてのに対して，　 　となるすべてのに対して，　

すべてのに対してにしたい 　となるすべてのに対して，　 　となるすべてのに対して，　

これを実現するためには，の大きさを無限大に発散 と分解し，とすることで，すべてのが原点からまたはに向かう

以上から線形分離可能なデータ集合に対する最尤解はの大きさがのときに得られる

参考： http://www.chokkan.org/publication/survey/prml_chapter4_discriminative_slides.pdf

Heaviside-step function:へヴィサイドの階段関数 Oliver Heaviside さんの考えた関数のこと

Heaviside さんは同軸ケーブルの発明者．

Oliver Heaviside, 1850年 5月 18日 - 1925年 2月 3日