小暮研究会２輪読発表

教科書 p70～p86担当：若原良太

2章：予測とモデル批評

自分が得た結果について批評をする必要がある。

　”推定値が正しくない”というのが頻度論の計量経済学における典型的な批判である。これに対して”間違ったように見える (look wrong)な周辺事後分布”というのがベイジアンにおける典型的な批評だ。

　理論が理論にあらわれる係数に関する強いほのめかしを伴ってでてくることがしばしばある。たとえば、需

要曲線は右下がりだということが理論によってほのめかされる。これらが、経済理論は単なる方程式の集合では

なく、係数に関する一連の信念・考えを伴っていることを示している。

以下係数が間違ったように見えるとき以下の方法で対処する。

（１）データおよび計算を確かめる。（プログラミング、正しく入力されているか？etc）（２）モデルを破棄する。（明らかにあてはまらなかったとき）

（３）モデルを検証する・疑問を持つ。

モデルは尤度や事前分布といった独断的な断定を含んでいるのでそれらに対して疑問を抱く必要がある。こうし

た独断的断定を決めるのは計算を楽にするために用いる場合が多く、主要な経済指標を含んだパラメーターと関

連していないことが多い。この断定が結果に影響するかしないかはモデルによって変わりわからないが、独断が

間違っていないかをチェックするのは重要である。この独断的断定が結果にどの程度影響力を持っているか調べ

ることを感度分析と呼ぶ。

(p70-p71)

２．１　モデルチェックの方法

モデルの独断的断定をチェックする方法は２つある。

（１）もう一度データを見る

　まず、”モデルに埋め込まれた信念が間違っているかどうか”を明らかにするためにより密にデータを検証する。具体的な例としてベルヌーイ試行においては残差分析を用いる　この検証で用いる手法として、非正式的（非形

式的）に主に図を用いる方法と、正式的（形式的）に、計算を主として行う場合がある。後者の場合、当てはまっ

ているモデルのいくつかの特徴の値の重要性を計算することがよくある。もし自分のモデルにおいて求めた価値

が不確かだと気づけばモデルを疑う理由ができる。

（２）モデルを拡大する

　独断的断定を非独断的に変えるようなモデルに変更する。これはモデル拡大もしくはモデル拡張と呼ぶ。自己

回帰の例ではモデルを第２順序依存を可能にすることで拡張し、yt = p1yt−1 + p2yt−2 + ϵt とかける。これによっ

て、p2 が実質的に 0異なっているか調べられる。拡張前は p2 = 0という独断的な断定を含むものと解釈されるが、拡張モデルにおいては p2が 0であるかもしれしないし、そうでないかもしれないというだけである。つまり独断的でなくなった。

(p71-p72)

1

２．２　非正式モデルチェック

非正則モデルチェックとはモデルの構造の詳細をチェックするために、誤差項の事後分布に目をむけ、広く自分

の事前の信念と矛盾がないかどうかみることである。

このチェックの最も一般的な例として線形回帰モデルによって表れる。線形回帰モデル g(y, x)が線形 y−β0−βix

の形をとるため誤差項 ϵ = y − β0 − β1xとなる。ベイズにおいては尤度が必要で、尤度のために ϵに対する事前

信念が必要である。信念の一般的な例として nの要素を持つ ϵは平均 0と精度 (τ)と考えることができる。　誤差が、互いに独立で同一分布な n(0, τ)であり、事前分布がはっきりしない信念のもとで誤差は以下の式に等しい事後平均 をもつ。

ei = yi − b0 − b1xi　 i = 1, 2, ..., n

eiは回帰残差で、ここで b0と b1は係数 β0と β1の最小二乗推定値である。ここで、強調したいのは事後平均 と

しての ϵi の解釈である。

　以上から、確証によってどうやって ϵiに対する信念が変わったか、残差（事後分布期待値）をみることからア

イディアを得られるかもしれないということがわかる。

(p72-p73)

２．２．１　残差QQプロット

ϵiが τ の元で標準正規分布に従っているか図でチェックする方法は、nモデル残差の連続分布である ϵiを見れ

ばよい。これはQQプロットと行うことで見ることができる。これは順に並んだ誤差をとり、標準正規分布にプロットすべき位置の対称の位置にプロットしたものである。つまり、正規分布の期待順序検定に対称なものである

定義２．１　期待順序統計量

順序統計量において大きさ nのサンプルはただの順序データである。期待順序統計は nの最小期待値であったり、nの中で 2番目に小さいものなのである。これら期待値はサンプルの大きさに左右される。データが実際に標準正規分布に従うのであれば、順序データは、傾き１で切片０の期待順序検定量と対称かつ

線形にプロットしなければならない。従わない場合はズレが生じてしまう。

(p73-p74)

例２．１　しっぽの長い分布を示すQQプロット

もしデータの分布が遅く０に近づくテールを持つとき以下のような QQプロットになる。（自由度３のｔ分布から得た 1000個のｐデータの観測値）

2

図からわかるように、最大の観測値では正規分布での期待値より大きく、最小の観測値は正規分布の期待値より

小さくなる。

(p74)

例２．２ 混合分布

この例では ϵi は同質ではなく以下の正規分布の式の混合から発生ように見える。

P (ϵ) = α n(µ1, τ1) + (1 − α)n(µ2.τ2), 0 ≤ α ≤ 1 (2.1)これが有限混合分布の例である。考え方として、国民に２つのタイプが存在し、ϵが µ1 の平均にばらつくタイ

プと ϵが µ2の平均にばらつくタイプがいるという考え方をすればいい。2.1式は５つのパラメーターに左右されながら、単峰型分布、二峰型を含むさまざまな分布の形を作り出すことができる。モーメントは、２つの分布の

モーメントの平均でもとまる。ϵ の期待値が Eϵ = αµ1 + (1 − α)µ2 の時、もし、µ1 = µ2, τ1 = τ2 であれば正規

分布になり、混合分布は正規分布も一般化する。以下のグラフは 2.1に α = 0.15, µ1 = 2, µ2 = −1τ1 = τ2 = 0.7を代入したものである。

この分布は二峰型分布であることがみてとれる。

(p75)

3

例２．３　誤差項の混合をQQプロットから見つけ出す

誤差項の混合は残差 QQプロットを調べることから見つけることができる。まず、n = 100の独立で均一分布な正規誤差 ϵhをつくる。次にいくつか xのデータを作り、最後に y = α + βx + ϵh として yのデータを作る。それから α, β の最小二乗推定値を求め残差 eh = yh − α − βxを求める。次に混合母集団から誤差 ϵm を作り出す。

ym = α + βx + ϵm となるいくつかのｙの分布を書き、新たに最小二乗法値を求め、残差 em = ym −α− βxをも

とめる。

上の 2つのプロットは共に均一正規分布とほとんどズレがないことを読み取れる。下の２つのプロットからは、左右で比較することで残差と誤差の分布の間に強い共通点があることを読み取れる。さらに上下で比較すると 2つめのデータの誤差分布の非正規分布ほうが図的にうまく描かれていることがわかる。結論として、混合分布に

従って QQプロットは回帰モデルの誤差における不均一性を見つけることができる。　右下の図が表れたあとどうすればいいのだろうか。それは、他の要素と系統的に異なる残差を持つ因子の特徴

を見つけ、なぜそれら因子がいいのか考える。また、異なった正規分布の混合になるように誤差の分布を一般化

し、関心のあるパラメーターの事後分布がこの変化でどう影響されるかみる方法もある。

　他の有益な図を用いた方法として、残差モデルを残差項モデルとの一致を調査する方法がある。つまり自分の

モデルの誤差が独立だと推定される時、誤差が独立でないと言えるかどうかたしかめればよい。

　ただし、図を用いると欠点があり、図が非常に読み取りにくいことがしばしばある。そのため、多くの人が形

式的な数式を用いたモデルチェックを頼り、プロットは簡潔にすませてします。よって、検証する前にモデルに

内在する信念が図的にやるのか形式的に数式でやるとチェックしやすいのか判断することが必要だ。

(p76)

２．３　チェックすることのできない信念？

モデルを表現する一連の信念には 2種類ある。一つは独断的なもので、他方が非独断的なものである。非独断的な信念は自然パラメーター領域外では０にならない事前分布で表される。独断的な信念は、この章でこれまで

やったように偽である確証を探すことで信念をチェックすることができた。しかし、独断的信念にモデルのデー

タを使ってチェックすることのできないものがある。これは 1章で扱った尤度の非識別可能性にかかわり非常に重要な点である。さきほど用いた線形モデルを例にとり説明する。

yi = α + βxi + ϵi　

ベイジアンの観点からみると ϵi は事前分布に対する信念を形成しなければならない付加的パラメーターである。

線形モデルを適用するほとんど全ての根底に存在する信念は以下のようになる。

4

Eϵi|xi = 0 i = 1, 2, ...., n　 (2.2)これを誤差と共変量の平均独立と呼ぶ。この信念は、最小二乗法によって求めた α, β を正当化する。また、実際

に誤差や平均量以下の式のように考えることもできる

Eϵi|xi = γxi i = 1, 2, ...., n　 (2.3)パラメーター γ が与えられることで、誤差と共変量の独立平均が γ = 0 となる独断的信念の採用と解釈できる。(2.2),(2.3)式のモデルにおける yの期待値は以下になる。

Eyi|xi = α + βxi 　 (2.2式期待値)Eyi|xi = α + (β + γ)xi 　 (2.3式期待値)

これら式から γ が 0か否かを尤度だけから知ることはできないことがわかる。例から結論づけるとあらゆる信念は基本的にチェック可能であるが、チェックには説得力のない事前分布が必要となる可能性もある。しかし、これ

には、たとえベイジアンであっても無駄骨を折る必要はない。

(p77-79)

２．４　正式的（形式的）モデルチェック

２．４．１　予測分布

正式的モデルチェックは予測分布に依存する。これはモデルをチェックするプロセスはあなたの予測を比較し

て、結果へと導くものであるからだ。予測分布には２つ種類があり、1つ目は事前予測分布（周辺尤度）と呼ばれるものだ。これは、データのがどのようであるべきかを教えてくれる。２つ目は事後予測分布と呼ばれるもの

である。これもモデルがどのようであるべきか理解するのを手助けをしてくれる。

(p79)

２．４．２　事前予測分布

事前予測分布は

p(y) =∫

p(y|θ)p(θ)dθ (2.4)p(y|θ)が尤度、p(θ)が事前分布である。この分布はモデルがデータの特徴とデータが予測する特徴を比較するのに使える。また、ペアのデータ、例えば xと yを測定するなら、事前予測分布が代数的に説明し、どの図が適当か不適当か教えてくれる。

(p79-80)

例２．４　ベルヌーイ試行における事前予測分布

復習だが、n回のベルヌーイ試行における尤度は p(y|θ) = θs(1− θ)n−s であった。この標本空間には範囲 nにおいて１か０の固有配列が全て含まれており、sは１の回数（成功回数）を表す。このモデル下では、nの事前予測分布におけるベクトル yは

p(y) =∫ 1

0θs(1 − θ)n−sdθ = Γ(s+1)Γ(n−s+1)

Γ(n+2) = s!(n−s)!(n+1)! (2.5)

この積分を計算するにはベータ積分の公式 (1.29)を用いる。このデータ yについての確率分布こそが、n回ベルヌーイ試行をするときに求めようとするものである。留意すべきは同じ１の回数を持つ全配列は同じ確率を持つ

ことである。これが予想密度は sを通じてのみｙに依存する理由である。

5

　特殊なケースとして n=2の予測確率は 1と０の固有配列４つで表すとP (0, 1) = 1

6 , P (1, 0) = 16 , P (1, 1) = 1

3 , P8(0, 0) = 13 (2.6)

これはコインが θ = 12 ででるという一般的な予測と違っている。このような独断的な事前分布の下だと　 p(y) =

0.5s0.52−s = 14 となり

P (0, 1) = 14 , P (1, 0) = 1

4 , P (1, 1) = 14 , P8(0, 0) = 1

4 (2.7)(2.6)と (2.7)の違いがややこしく悩むかもしれないが、ベルヌーイ試行を考えるときにコインを投げることを思い浮かべるからである。こう考えればわかりやすい。1回目成功すれば、2回目も成功すると考えるのが普通なので P(1,0)に比べて P(1.1)の確率が高くなるのである。独断的試行においてはそのような学習が起こらないので均一確率となる。

　 θが特定の数値をとると信念が独断的に断言する時、例えば θ0nのときポイント事前分布が存在する。この事前分布は p(θ0) = 1で、その他すべての場所が１と主張する。この分布を用いて、平均、分散、共分散やそのたデータの特徴を予測されのものと比較することができる。

(p80-81)

２．４．３　事前予測分布を用いたモデルチェック

予測事前分布からわかるのはデータがどのようであるべきはずかである。つまり、そのようでなければモデル

のなにかがおかしいのである。まず、p(y)を計算して例えば yobs というデータをみる。そのデータが確からし

いと納得できれば、そのデータはモデルに一致する。逆に納得できなれば疑いが生じる。このモデルチェックに

はよい問題が多くでてくる。その１つが、データが高次元で普段 1次元や低次元で考える私たちにはわかりにくい。そのため yを計算するのでなく yの大きさをもった関数、例えば T(y)を以下のアルゴリズムで計算する。

アルゴリズム2.1　モデルチェック

1.事前予測分布 Yを用いて、予測分布 T(Y)を導く。2.自らのデータを用いて T (yobs)を求める。3.T (yobs)が T(Y)の分布から求めてきたに見えるのであれば、モデルを暫定的に受け入れる。もし T (yobs)が不確かならばモデルを否定し、再度考える。

1.においてデータ量の関数 T(Y)の確立分布を計算するには以下の手順に従えばよい

アルゴリズム2.2　テスト統計分布の計算（検定）

1.事前分布 p(θ)のからサンプル θ を求める

2.θの実現値を使って、p(y|θ)から Y値のサンプルを求める3.この実現値を使って T(y)を計算する。4.１～３を nrep回繰り返すこの計算によって T(Y)の nrepが実現し、精度がテスト仕様統計分布（検定）にもたされる。関数 T(.)によってベイジアンテスト統計仕様分布が定義される。この検定を用いることでモデルが独断的になりすぎるのを防ぐ

ことができる。この検定は潜在データ Yの関数だけではなく、パラメーター θの関数でもあるので以下の例で説

明する。

(p82-p83)

6

例2.5　自己回帰モデルの検定

以下の線形モデルを含む自己回帰モデルを考える

yt = ρyt−1 + ϵ[t] t = 1, 2, .., T

これは y0のもとで互いに独立の n(0, τ)の分布に従うϵ = (ϵ1, ....ϵT )を持つ このモデルによって、ϵtは独立で y0

とも相関がないことを断言している。この独断的断定を自然に調べる方法は誤差 ϵt の自己相関係数を自らのテ

スト統計である T(Y)に選択すればよい。自然なテスト統計であるようなものは、データとパラメーターに依存し、T (Y, ρ)という型を持つ。この例が示すように T (Y, θ)型のテスト仕様統計を考える必要がある。アルゴリズム 2.1を以下のアルゴリズムで一般化する。

アルコリズム2.3　一般化モデルチェック

1.Yの結合事前予測分布を使い、θに T (Y, θ) − T (yobs, θ)の予測分布の結果をださせる。2.これをサンプリングする。方法として、まず θを事前分布からサンプリングし、次に実現された θの値を使っ

て Yをサンプリングする。3.実現された T (Y, θ)− T (yobs, θ)の頻度分布を検証する。これが０が起こりうる値かどうか見るためにする。起こりえない場合、データは特定の T (Y, θ)と不整合だったとまとめれればよい。

(p83)

2.4.4　非正則事前予測分布

非正則事前分布は非正則事前予測分布を導く傾向があり、厄介である。簡単な例として以下を考えよ。

例2.6　既知精度を持つ正規分布

平均 µ,精度 1をもつ標準変量の１観測地と µの（非正則、ジェフリーズ）一様分布、p(µ) ∝ 1、−∞ ≤ µ ≤ ∞に対し、事前予測密度は

p(y) ∝∫ ∞−∞ exp

{−(1/2)(y − µ)2

}dµ =

√2π

と一定である。つまり予測分布も実数直線上一様分布であり非正則である。よってサンプリングをすることがで

きない。大まかに言えば、µに対しも考えがなければ Yに対する考えも持っていないということだ。

例2.7　自己回帰モデル

ρに対する平坦事前分布のもとで予測分布は (1.9)から

p(y|y0) ∝∫ ∞

−∞exp

{−(1/2)(ρ − r)2

n∑t−1

y2t−1

}dρ

∝ (n∑

t=1

y2t−1)

−1/2 exp{−(1/2)

n∑t=1

(yt − ryt−1)2}

である。これはまた n項のベクトルの確率変数 Y = (Y1, Y2, ..., Yn)に対して正則な確率分布でない。

7

まとめると、非正則分布は簡略化されているものが多いので扱いにくい。もしモデルにまったく予測がないのな

らモデルをチェックすることができず、一般的に正則事前分布を使うほうが賢明だ。

(p84)

2.4.5　トレーニングサンプルからの予測

正則事前分布を使わずに非正則分布の扱いにくさに対応する 1つの方法は、データの一部を除外し、残りで正則予測分布を形成すればよい。もし y = (yp.yT )であるなら、非正則である可能性を持った事前分布とデータ yt

を使う θ の事後分布 p(θ|yT )を計算し、yT が与えられた元で残った yp の予測分布を計算する手法である。

p(yp|yT ) =∫

p(yp|yT , θ)p(θ|yT )dθ (2.8)

データ yT の部分集合は添え字に由来しトレーニングサンプルと呼ばれる。

(p84-p85)

例2.8　既知精度を持つ正規分布

平均 θ、既知精度１の標準変量における n個の独立した観測値を考える。１観測値に対する尤度関数は

l(θ；y1) ∝ exp{−(1/2)(y1 − θ)2

}これは非正則一様分布によって θの事後密度は以下になる。

l(θ|y1) ∝ exp{−(1/2)(θ − y1)2

}これは平均 y1、精度 1の完全に正則である正規分布である。このケースではただ 1回のトレーニングサンプル観測で非正則分布を他の観測の予測の為に使うことのできる正則分布に組み替えることができた。

もし θが与えられかつ Ypと YT が独立であるモデルならば (2.8)は簡単 p(yp|yT ) =∫

p(yp|θ)p(θ|yT )dθと書ける。

どちらの方法でも、トレーニングサンプルが与えられたもとで Yp の予測分布からシミュレートするアルゴリズ

ムを以下で提示する。

アルゴリズム2.4 残りの標本にに対する予測分布のシミュレーション

1.p(θ|yT )から θの nrep値を導く。2.その θを使って θ(必要であれば yt)が与えられた下で尤度関数から nrepベクトル yp を導く

3.各 nrep標本に対して、予測したい統計量を計算する4.ステップ３で作った予測分布と統計量の標本値を比較する5.結論をだす

(p84-p85)

8

例2.9 トレーニングサンプルを用いた予測

数値例として 2.8で使った既知精度をもつ正規分布を用いて、平均 0、精度 1の n=5の独立した標準変量を生成する。平均 y[1],精度 1を持つ正規分布として θに対する事後分布を導くために y[1]をトレーニングサンプルとして用いる。下記のコマンドで nrep値を導出し、保存する。thetavalues¡-rnorm(nrep,y[1],1)さらに下記コマンドで予測分布からこの平均の nrep標本を導く。for(iin1 : nrep)yb[i]mean(rnorm(4, thetavalues[i].1))これは、θの事後分布から導出された平均値をもつ４つの標準変量の平均を導出する。そうして、ヒストグラム

または分布を描く。これらコマンドを実行すると、y[1]の値は 1.154、他の 4つの平均は 0.100であった。以下の図は、初期値が与えられたもとで次の４つの観測値の平均に関する事後分布を示し、推薦はデータにおける実際

の平均である 0.100を示す。

図からの結論は 0.100が４つの観測値の平均に対応する実際の確立であり、本質的にモデルを疑う確証がないことだ。先の４つの観測値の平均がまさに私たちが期待するものである。

(p86)

例2.10 回帰モデルからの予測

1共変量で切片のない回帰モデルを取り上げて考える。トレーニングサンプルを取り上げ、xが与えられたもとで残りのデータを予測することでモデルをチェックしたいとする。nT 個 のトレーニングサンプル観測値の一群

から βの事後分布は、平均がトレーニングサンプルからの βの最小 2乗推定値 bに等しく、誤差精度が既知 τ よ

り提供される τ∑µT

i=1 x2i　に等しい精度をもつ正規分布である。xが与えられたもとでの残りの np = n − nT 個

の観測値の予測分布は以下の式になる。

p(yP |xP , yT , xT ) ∝∫ ∞

−∞exp

{−(τ/2)

np∑j=1

(yj − βxj)2}

exp{−(τ

nT∑i=1

(x2i /2)(β − b)2

}dβ

積分の第一項は xPとβ が与えられたもとの尤度関数。第 2項はトレーニングサンプルからの β の事後密度関数

である。

この積分に定義される分布から簡単にサンプリングすることができる。まず、ϵt(互いに独立で同一の分布なn(0, τ))を持つ回帰モデル yt = βxt + ϵtを満たす xと yを生成し、n=30とする。次にトレーニングサンプルを用いるために xTと yT のペア nT y, xを取り、nT = 10とする。そして、

b =∑nt

i=1 yT xT∑nT

i=1 x2i

9

とする β の最小二乗推定値を計算する。そして、例えば平均 b,精度 τ∑nT

i=1 x2i の正規分布である β の事後分布

の実現値 nrep=1000個を生成する。最後に xP が与えられたもとでの yP の予測分布に関する nrep個の実現値を生成する。

　データは順序づけられてないので、トレーニングサンプルを用いることは、データをかなり恣意的に分割する

ことでトレーニングサンプルと予測標本を関連づける。

　モデルをチェックする必要がある限り、事前予測分布をもつデータの特性を比較する１つの代替案は、事後予

測分布を使うことである。これは結局データを見た後、データそのものを置き換えることを必要とする。

2.5 事後予測

観測したデータを yobsとし、同じモデルにより生成したデータを yとする。このとき、yの事後予測分布は以

下になる。

p(y|yobs) =∫

p(y|yobs, θ)p(θ|yobs)dθ　 (2.9)

被積分関数は y と θ の同時密度である。(2.9)における積分は解析的に解くこともできるが、通常以下のサンプリングで求める。

アルゴリズム2.5

１．事後分布から θをサンプリングする。

２．θと yobs が与えられた下で、実現値を条件付きの分布に代入し、必要であればこの条件付き分布から y をサ

ンプリングする。

３．ステップ１，２を nrep回繰り返し、p(y|y)から多くの実現値を得る。

例2.11 自己回帰過程の事後予測

この例と次の例では、サンプリングを用いず、解析的に計算する方法を説明する。一様事前分布と精度１を持

つ 1次の自己回帰過程を仮定しよう。ここで ρの事前分布 p(ρ|y) = n(r,∑n

t=1 y2t−1)であった。もし yがその系

列における次の観測値 yt+1 なら、モデルは次式で示される。

p(y|yobs, ρ) ∝ exp{−(1/2)(yn+1 − ρyn)2

}従って、s2 =

∑nt=1 y2

t−1 とし、ρ の事後密度は平均 r,精度 s2 を持つ正規分布である。

p(yn+1|y) ∝∫

exp{−(1/2)(yn+1 − ρyn)2 − (s2/2)(ρ − r)2

}dρ (1)

∝{

(−1/2)(s2/(s2 + y2n))(yn+1 − ryn)2

}これは平均 ryn,精度が (

∑nt=1 y2

t−1)/(∑n+1

t=1 y2t−1)に等しい正規分布である。

10

例2.12 ベルヌーイ試行の事後予測

同様に、ベルヌーイ試行の例において y は n回の試行を行った後、次の試行の結果である yn+1 とする。事前

分布が一様分布のとき yn+1 の事後予測分布は以下になる。

p(yn+1|yobs) =(yn+1 + s)!(n − s − yn+1 + 1)!

(n + 2)!(n + 1)!

s!(n − s)!

　ここで、θ の事後密度における比例定数を提供し、再度積分を評価するためにベータ密度関数を用いる。ここ

から、事前確立が一様分布である連続したベルヌーイ試行において n+1回目で成功、yn+1 = 1とする予測確立に対する一般的な公式は (2.10)式で yn+1 = 1とすると以下になる。

p(yn+1 = 1|n, s =s + 1n + 2

　したがって、2回成功した後に成功する確率は 3/4であるが 98回目の試行において 98回成功した後、次の試行が成功する確率は 0.99である。（対して、頻度論において９８回連続表がでて、９９回目にコイン投げで表がでる確立は 1/2である。）

11