JNNS-DEX-SMI-玉川　公開講座

「交換モンテカルロ法とその応用」

東京工業大学大学院　総合理工学研究科知能システム科学専攻　博士課程 2年永田賢二

交換モンテカルロ法とは？

•マルコフ連鎖モンテカルロ法（MCMC法）のひとつ•乱数を用いて、確率分布を再現するための一群の手法

•正規分布など、性質のわかっている分布だけでなく、離散・連続を問わず、　様々な分布に適用できる。汎用性が高い。

•交換モンテカルロ法は、従来のMCMC法の改良アルゴリズム [Hukushima,96]

＜MCMC法の主な目的＞

)(wp確率分布

•サンプリング •期待値計算

dwwpwgwgm

m

tt )()()(

1

1)(

MCMC法の応用例

＜ベイズ統計＞

データ　　が与えられたもとでのパラメータ　　の条件付き確率（事後分布）

Z

wpwXpXwp

)()|()|( dwwpwXpZ )()|(

wX

)|( wxp )(wp：確率モデル ：パラメータの事前分布

＜統計物理＞ギブス分布・カノニカル分布における期待値計算

)(

))(exp()(

Z

wEwp

dwwEZ ))(exp()(

)(wE ：エネルギー関数 ：温度の逆数（逆温度）

Outline

マルコフ連鎖モンテカルロ法 メトロポリス法 マルコフ連鎖の原理

交換モンテカルロ法 遅い緩和の問題 交換モンテカルロ法の原理

交換モンテカルロ法の設計に関する理論 温度パラメータの設定 平均交換率の理論解析

Outline

マルコフ連鎖モンテカルロ法 メトロポリス法 マルコフ連鎖の原理

交換モンテカルロ法 遅い緩和の問題 交換モンテカルロ法の原理

交換モンテカルロ法の設計に関する理論 温度パラメータの設定 平均交換率の理論解析

マルコフ連鎖モンテカルロ法

d次元空間上の点　　が従う確率分布　　　　が与えられているとする。

また、点　　の各成分は連続値をとるものとする。

　　　１．確率分布　　　　に従う点をサンプリング

　　　２．　の関数　　　　の確率分布　　　　についての期待値の計算　　　　

w )(wp

)(wp

w )(wp)(wg

)()2()1()( ,, mt wwww

m

ttwg

mdwwpwgwg

1)( )(

1)()()](E[

w

１．　　の初期値　　　　を設定する。２．　現在の点　　　から、以下の式で候補　　を生成する。３．　密度の比較により、次の点　　　　を決める。

メトロポリス法

（例）以下の確率分布　　　　に従うサンプル生成

w

)(wp

w )0(w

)0(w

)(tw w

)(tww : 平均 0の一様乱数、正規乱数など

w

)1( tw

)( )0(wp

)(wp

)1(w

)()( )( wpwp t ww t )1(

w

)(wp )( )1(wp

)()( )( wpwp t 確率　　で確率　　　　で

rr1

ww t )1(

)()1( tt ww )(

)(

)(twp

wpr

r1

0

)2(w

メトロポリス法

（例）以下の確率分布　　　　に従うサンプル生成

w

)(wp

)0(w w

r1

0

)1(w

)()( )( wpwp t 確率　　で確率　　　　で

rr1

ww t )1(

)()1( tt ww )(

)(

)(twp

wpr

３．　密度の比較により、次の点　　　　を決める。)1( tw

)2(w

メトロポリス法のアルゴリズム

１．　　の初期値　　　を適当に設定する。

２．現在の点　　　から、以下の式で候補　　　を生成する。

３．密度の比較により、次の状態　　　　を決める。

４．ステップ２に戻り、繰り返す。

)(tw

w )0(w

w

)(tww

)1( tw

: 平均 0の一様乱数、正規乱数など

)()( )( wpwp t ww t )1(

)()( )( wpwp t 確率　　で確率　　　　で

rr1

ww t )1(

)()1( tt ww )(

)(

)(twp

wpr

＜確率分布　　　　に従うサンプリング・アルゴリズム＞)(wp

ステップサイズ

ステップサイズ：候補を選ぶ際の範囲の大きさ

（例）以下の２次元の確率分布からのサンプリング

・大きすぎると、ほとんどの候補が採択されなくなる。・小さすぎると、一回の更新が少ないため、遠くに行きにくい。・大きすぎると・・・・小さすぎると・・・

ステップサイズ

(例 )右の目標分布から 1000個のサンプルを生成

ステップサイズ： 0.05 ステップサイズ： 0.5 ステップサイズ :5

・実際には、採択される割合が 40%～ 60%程度になるように設定

・要素ごとに更新するのも一つの手。

:２次元の一様分布からランダムに選ぶ。

「メトロポリス法」のまとめ

確率的に「候補」を選んで、それを採用するかどうかを、確率的に決定する。

目標分布の情報は、密度の比のみしか用いないため、密度さえ計算できれば、どんな分布にも適用できる。規格化されていなくても大丈夫。

ステップサイズの設定は、アルゴリズムの効率アップのために、重要。大きすぎず、小さすぎず。要素ごとの更新を考えてもいいかも。

Outline

マルコフ連鎖モンテカルロ法 メトロポリス法 マルコフ連鎖の原理

交換モンテカルロ法 遅い緩和の問題 交換モンテカルロ法の原理

交換モンテカルロ法の設計に関する理論 温度パラメータの設定 平均交換率の理論解析

マルコフ連鎖

マルコフ連鎖：直前の点　　　　のみに依存して、次の点　　　を決定する。)1( tw )(tw

)1()()1( ttt www

)( ww ・遷移確率　　　　　　　　： 点　　から点　　に移る確率w w

（メトロポリス法の場合）

w

:[-D,D]の範囲の一様分布からランダムに選ぶ。

www

)(wpCase1:

Case2:

Case3:

0)( ww

Dww

2

1)(

)(

)(

2

1)(

wp

wp

Dww

マルコフ連鎖の原理

１．詳細つりあい条件 )()()()( wwwpwwwp

＜遷移確率　　　　　　　　が満たすべき条件＞)( ww

確率分布　　　　に従う点がたくさんある状況を考える。)(wp

w w

)(wp)(wp

それぞれの点を更新

)( ww

（左辺）：　　から　　　に移る個数w w

)( ww

（右辺）：　　から　　　に移る個数ww

任意の２つの位置での「流入」と「流出」がつりあっている。

「確率分布　　　　を不変にする」)(wp

マルコフ連鎖の原理＜遷移確率　　　　　　　　が満たすべき条件＞)( ww

２．エルゴード性任意の 2つの点　　と　　の間の遷移確率がゼロでないか、有限個のゼロでない遷移確率の積で表すことができる。

w w

・何回かの更新で、どこへでも到達することが可能である。

w w

・どんな初期値から始めても唯一の分布に収束する。

メトロポリス法における詳細つりあい条件

)()( wpwp ２．　　　　　　　　　　　の場合

)(

)(

)(

)(

wp

wp

ww

ww

)(

)(

2

1)(

2

1)(

wp

wp

Dww

Dww

w ww

)(wp

)()()()( wwwpwwwp

（先のメトロポリス法の場合）

:[-D,D]の範囲の一様乱数

Dww １．　　　　　　　　　の場合

0)()( wwww

MCMC法のアルゴリズム

遷移確率の満たすべき条件は緩くて、一意に決定できない。 詳細つりあい条件 エルゴード性

MCMC法のアルゴリズムは、たくさん存在する。（例）

メトロポリス法 メトロポリス・ヘイスティングス法 ギブスサンプラー、熱浴法 独立サンプラー ハミルトニアン・モンテカルロ法

「マルコフ連鎖の原理」のまとめ マルコフ連鎖

直前の状態にのみ依存して、次の状態が決まる系列 遷移確率で特徴づけられる。

マルコフ連鎖の基本原理 詳細つりあい条件

任意の２つの位置での「流入」と「流出」がつりあっている。 エルゴード性

有限回のステップで、任意の２点間を行き来できる。

条件は緩く、いろいろなアルゴリズムが存在する。

Outline

マルコフ連鎖モンテカルロ法 メトロポリス法 マルコフ連鎖の原理

交換モンテカルロ法 遅い緩和の問題 交換モンテカルロ法の原理

交換モンテカルロ法の設計に関する理論 温度パラメータの設定 平均交換率の理論解析

遅い緩和の問題

メトロポリス法の基本は、「少し変えて、選ぶかどうかを確率的に決める。」

（例１）密度の高い領域が、いくつもあり、互いに離れている場合（多峰性のある確率分布）

・ある領域から、他の領域に到達するには、密度の低い領域を通る必要がある。

　　　　⇒サンプリング効率の悪化

ある確率分布に対しては、ものすごく効率が悪くなってしまう。

遅い緩和の問題

（例１）基底状態が一点ではなく、次元を持った集合になっている。（ベイズ学習でみられる問題）

)(

))(exp()(

Z

wEwp

基底状態：エネルギー関数　　　　　を最小にする点　　のこと)(wE w

＜一点の例＞ ＜集合の例＞

拡張アンサンブル法

確率分布によっては、遷移確率が著しく小さくなる。

サンプリング精度が悪くなり、期待値の評価に影響を与えてしまう。

＜実質的なエルゴード性の破れ・遅い緩和の問題＞

＜拡張アンサンブル法＞　上記の問題を解決する一群の手法

確率分布を拡張したり、混合したものを考える。　　・マルチカノニカル法

　　・シミュレーテッド・テンパリング法

　　・交換モンテカルロ法　 [Hukushima-Nemoto,96]

交換モンテカルロ法のアイデア（温度の導入）

・確率分布　　　　に対して、

＜高温状態＞ ＜低温状態＞

・エネルギーの低い点は探せない・大域的に行き渡れる

・常にエネルギーの低い点にいる・局所領域に留まりやすい

サンプリング中に温度を上げ下げする。

＜問題＞　　・温度を上げ下げする過程で、詳細つりあい条件を破ることになるので、　　　目標分布からのサンプリングの保証がなくなる！

)(wp )()( wpwp

ギブス分布の場合： ))(exp()( wEwp

交換モンテカルロ法 [Hukushima,96]

目標分布： )(exp1

)( wEZ

wp

拡張された確率分布　　　　　 }{wp

L

lll

l

L

lll wE

Zwpwp

11

)(exp)(

1)(}{

},,{}{ 1 Lwww

　　１．（通常の更新）それぞれの確率分布について、状態の更新

　　２．隣り合った分布間で、状態の交換を行う。

ll ww

llll wwww ,, 11

＜アルゴリズム＞

（　　 : 逆温度）

交換モンテカルロ法の詳細つりあい条件

＜詳細つりあい条件＞

},,,{},,,{},,,{

},,,{},,,{},,,{

111

111

llllll

llllll

wwwwwwp

wwwwwwp

rwEwE

wpwp

wpwp

wwww

wwww

llll

llll

llll

llll

llll

))()()((exp

)()(

)()(

},{},{

},{},{

11

11

11

11

11

<Case1> :小

<Case2> :大

<Case3>

r

r

1r

交換の採択確率

1.メトロポリス型

r

ru

122. 熱浴型

),1min(1 ru

))()()((exp)()(

)()(11

11

11

llllllll

llll wEwEwpwp

wpwpr

交換前交換後

必ず交換する。(1)

交換前交換後

確率　　で交換する。(2)

r

11 u

ru 1

（交換前）（交換後）

2u0 1

１．（通常の更新）　　メトロポリス法により、状態の更新

２．（状態の交換）　　隣り合った分布間で、状態の交換

＜交換の採択確率＞

llll wwww ,, 11

))()()((exp

),1min(

11

llll wEwEr

ru

交換モンテカルロ法のイメージ

< 交換モンテカルロ法>

)(wp

)( 11 wp

)( 22 wp

)( 33 wp

)( 44 wp

< メトロポリス法>

交換モンテカルロ法の挙動（イメージ）

＜前に出した例では・・・＞

高温 低温

・低温での点が、高温に移ることで、大域的なサンプリングが可能に。

・詳細つりあいを満たしているので、サンプリングの保証つき。

交換モンテカルロ法の実験結果の例

メトロポリス法 交換モンテカルロ法

右の確率分布から 10000個のサンプルを生成

ベイズ学習での交換モンテカルロ法

＜混合正規分布モデルにおけるベイズ学習＞

推定

<学習データ >　　 1000個の 3次元データを生成

<正規分布の数 >　　　　　データ生成 : 4個　　学習モデル : 　 10個　　

汎化誤差：真の構造と予測結果の相違

アルゴリズム 汎化誤差

Gibbs 　 sampler

交換法

理論値 (上限 )

003249.0011188.0

002989.0009809.0

010500.0

その他の応用例

ポリマーの構造推定

タンパク質の立体構造推定

スピングラス・シミュレーション

組み合わせ最適化問題

(1999). Sandelin, E. ck,aIrb A. 110hys.J. Chem. P

(2001). Okamoto, Y. Sugita, Y. Mitsutake, A. 60Biopolymer

(1996). Nemoto, K. Hukushima, K. 65oc. Jpn.J. Phys. S

(1998). wski, WieczerkoC. Pinn, K. 9 Cd. Phys.Int. J. Mo(2002). Hukushima, K. 147. Comm.Comp. Phys

「交換モンテカルロ法」のまとめ

遅い緩和の問題 密度の高い領域が複数存在し、互いに離れている場合 エネルギーの基底状態が、次元をもった集合になっている場合

交換モンテカルロ法の原理 温度パラメータを導入することで、大域的なサンプリングが可能に

同時分布の詳細つりあい条件を考える

Outline

マルコフ連鎖モンテカルロ法 メトロポリス法 マルコフ連鎖の原理

交換モンテカルロ法 遅い緩和の問題 交換モンテカルロ法の原理

交換モンテカルロ法の設計に関する理論 温度パラメータの設定 平均交換率の理論解析

交換法が有効に働くには・・・

＜交換が、ある程度の確率で行われている。＞

交換が行われないと、通常のメトロポリス法を行っているのと同じ。

))()()((exp 11 llll wEwEr ＜　　　　のヒストグラム＞

高温

低温

温度パラメータの値によって交換の頻度が決まる。

＜温度パラメータの設定＞　　・各　　の間隔は？　　・温度パラメータの総数は？

)(wE

温度パラメータ設定の際の基準例

＜平均交換率＞　

　　各温度間で、交換が行われた頻度

32

21

32

1

2

3

4

・もし、各温度で定常分布に収束していると、平均交換率は、２つの温度パラメータによって定まる関数。

))()()((exp 11 llll wEwEr

平均交換率の理論解析

)()(ˆexp)(

1

)()(ˆexp)(

1

22

2

11

1

wwEZ

wp

wwEZ

wp

dRw

21

)(ˆ wE

)(w

：　ある点　　において、最小値　　　　　をもつ関数

：　任意の確率分布

0w )(ˆ0wE

＜低温同士での平均交換率＞　　　　がある程度大きい状況

平均交換率の理論解析

typebathheatfor12 r

ru

typeMetropolisfor),1min(1 ru

))(ˆ)(ˆ)((exp 2112 wEwEr

21221111 )()(: typeMetropolis dwdwwpwpuJ

21221122 )()(:bath typeheat dwdwwpwpuJ

＜交換に関する採択確率＞

＜平均交換率＞

　　　平均交換率　　は、　　　　　　　　において以下の式に収束する。1J 21,＜定理１＞ [Nagata, 2008]

dssa

saA

AJ

1

0 2

1

1

122

1

121

1,

,22

1

メトロポリス型における平均交換率

熱浴型における平均交換率

　　　平均交換率　　は、　　　　　　　　において以下の式に収束する。2J 21,

1

122

1

122 ,

111

2

1

BJ

12

11210 0 1221 1expexp

2

1tanh,

sssasssadsdsaB

＜定理２＞ [Nagata, 2008]

平均交換率の挙動

1

122

1

121 ,

221: typeMetropolis

AJ

1

122

1

122 ,

111

2

1:bath typeheat

BJ

112 /

0.5 0.21

12

平均交換率は、　　　　　　　　　　　と　　　の関数 112 /

平均交換率

平均交換率と温度パラメータ

平均交換率は、　　　　　　　　　　　の関数 112 /

l

ll

1各温度で　　　　　　　　が一定ならば、平均交換率は同じ値になる。

1 4 52 3

1

12

2

23

3

34

4

45

11 1 l

l このとき、温度パラメータの値は、

指数的に区切れば、平均交換率が一定の値になる。

　　ってなに？

).(loglog

)()(ˆexplog)(log)(

o

dwwwEZF

「自由エネルギー」・「周辺対数尤度」・「確率的複雑さ」

w・任意の　　において　　　　のヘッセ行列が正定値

ji ww

wE )(ˆ2

ヘッセ行列：

＜正則なケース＞

2

d

・　　の値は、主に　　　　の性質によって定まる。 )(ˆ wE

)(ˆ wE

w

　　ってなに？

・ヘッセ行列が縮退する　　が存在する場合

＜特異なケース＞

2

d

右の例では、

)2(2

1 d

・特異なケースでの　　の解析法　　　　の極を調べる。)(z

dwwwEzz

)()(ˆ)( zRe

zIm

0

代数幾何学の手法である特異点解消を行えば求められる。

ベイズ学習での　　の性質

様々な学習モデルにおいて、　　の値を求める研究がなされている。

)|(||)( nn XxpxqKLXG ：真の構造と予測分布のカルバック距離

　　予測の精度を示す尺度の一つ

n

no

nXGnG n

X n

1E)(

漸近形：

＜汎化誤差 [Watanabe, 2001]＞

＜厳密解＞・ニューラルネットワーク　　　　　　　・縮小ランク回帰モデル・隠れマルコフモデル　　 　　　　　　・混合二項分布モデル

＜上限値＞・一般混合分布モデル　　　　　　　　・ベイジアンネットワーク・確率文脈自由文法

平均交換率の理論値の検証

＜縮小ランク回帰モデル（線形ニューラルネットワーク）のベイズ学習＞

)1(x )2(x )(Mx

)1(y )2(y )( Ny

N

H

M

A

B

パラメータ

パラメータの次元：

}{},{ ,, jhhi baw

HNMd )(

12,20 HNM学習モデルが　　　　　　　　　　　　　　　　　のとき（真の構造は　　　　　　　）40 H

)noise(ABxy

温度パラメータ設定に関する研究 平均交換率を均等にするよう設定

　 　

関数　　　　などの挙動をもとにした繰り返しアルゴリズム 　 　

最適な平均交換率の値 20%～ 25%くらいが最適らしい。 　 　

温度の端から端まで動くための時間の最小化 　

)(wE

(1999). Okamoto, Y. Sugita, Y. 314. Lett.,Chem. Phys(2002). Kofke, A. D. 117hys.,J. Chem. P

(2002). Garcia, E. A. u,Sanbonmats Y. K. 46Proteins,(2004). al,et Schug A. 57Proteins,

(2005). al,et Rathore N. 122Phys., Chem. J.(2005). . Kofke, A. D. Kone, A. 122Phys., Chem. J

(2006). . al,et Katzgraber G. H. Mech., Stat.J

全体のまとめ

マルコフ連鎖モンテカルロ法 メトロポリス法 マルコフ連鎖の原理

交換モンテカルロ法 遅い緩和の問題 交換モンテカルロ法の原理

交換モンテカルロ法の設計に関する理論 温度パラメータの設定 平均交換率の理論解析