東京大学医学系研究科 M1 倉橋 一成

1

漸近論

平均二乗誤差

Mean squared error (MSE) . . .

1,..., ~i i d

nX X X ， ( ): ,xpdf f x θ ， ( )1,..., nT T X X= ：パラメータθのある推定量とする．

( ) ( ) ( ){ } ( ){ } ( ) ( ){ }2 2 22,MS ET E T E T E T E E T V T Bia sTθ θ θ ≡ − = − + − = +

特に ( ) ( ) 0Bias T E Tθ= − = のとき T はθの不偏推定量であり， ( ) ( ),MSE T Vθ θ= とな

る． ・一般に，MSE が小さい推定量ほど良いと言える．

一様最小分散不偏推定量

Uniformly minimum variance unbiased estimator (UMVUE)

「不偏推定量 T*が UMVUE である」⇔任意の不偏推定量 T について ( ) ( )*V T V T≤ ，

θ∀ ∈Θが成り立つ． ・不偏推定量の中で，全てのθ ∈Θに対して分散を最小にするもの． ・ある不偏推定量が UMVUE であることを示す方法 1.Fisher 情報量に基づくクラメール・ラオの不等式 2.完備十分統計量の理論（レーマン・シェフェの定理など）

最良線形不偏推定量

Best linear unbiased estimator (BLUE) 「BLUE である」⇔線形不偏推定量の中で，その分散が最小のもの ・Gauss-Markov の定理による

損失関数

Loss function

( ),l tθ ：推定値とパラメータの距離

東京大学医学系研究科 M1 倉橋 一成

2

定義 1)すべてのθ，t で ( ), 0l tθ ≥

2)すべてのθで t=θのとき， ( ), 0l tθ =

危険関数

Risk function

( )( ) ( ){ }2,R T X E T Xθ θ ≡ −

：推定量とパラメータの距離

定義 1)2 つの統計量 1 2,T T について，

( )( ) ( )( )1 2, ,R T X R T Xθ θ≤ ， θ∀ ∈Θかつ ( )( ) ( )( )1 2, ,R T X R T Xθ θ< ， θ∃ ∈Θ

が成り立つとき， 1T は 2T に優越する（dominate）という．つまり優越するとは，

少なくとも 1 つのθで危険関数が小さい状態を指す． 2)T をパラメータθの推定量とし，T に優越する推定量が存在しないとき，T は許容

的である（admissible）という．

3)ある推定量*T が他のどの推定量Tに対しても，

( ) ( )*sup , sup ,R T R Tθ θ

θ θ∈Θ ∈Θ

≤

が成り立つとき，*T を minimax 推定量という．この推定量は危険関数の上限が最

小となるような推定量である．

2つの分布間の距離

( )1, : ,..., nf g X X=X の 2 つの密度関数とする．

1)カルバック・ライブラー（Kullback-Leiblar）情報量

( ) ( )( ) ( ), logK

fI f g f d

g

= ⋅ ⋅

∫x

x xx

2)相対積分 2 乗誤差（relative integrated square error）

( ) ( ) ( ){ }( )

2

,Q

f gI f g d

f−

= ⋅∫x x

xx

3)ヘリンガー（Hellinger）の距離

東京大学医学系研究科 M1 倉橋 一成

3

( ) ( ) ( ), 1HI f g f g d= − ⋅ ⋅∫ x x x

・これらは全て非負であり，0 になるのは f=g のときに限られる．

十分統計量

「 ( )1,..., nT T X X= がθの十分統計量である」⇔T を与えたときの ( )1,..., nX X=X の条

件付分布がパラメータθに依存しない． ・パラメータに関する情報が全て十分統計量に含まれている． ・十分統計量さえ知れば，データから得られるパラメータに関する情報は全て得られる． ・十分統計量の 1 対 1 に対応する関数も十分統計量である．

例） ( ). . .

1,..., ~i i d

nX X B p （B はベルヌーイ分布）とすると， ( )1 ~ ,nY X X Bi n p= + ⋅⋅⋅+ と

なる．ここで Y が統計量であると考えると，Y で条件付けた X の分布は以下のようになる．

( ) ( )( )

( )( )

( )

( )

1 11 1

1 1

Pr ,..., ,Pr ,...,

Pr

Pr ,..., 1 1Pr

1

ii

n nn n

n xxn n

n yy

X x X x Y yX x X x Y y

Y y

X x X x p pn nY y

p py y

−

−

= = == = = =

=

∑∑= = ⋅ −= = =

= ⋅ −

　　　　　　　　　　　　　

よって Y が p の十分統計量になっていることがわかる．

因子分解定理

( )1,..., nX X=X ， ( ),f θX ：X の同時確率（密度）関数，θ：パラメータ，θ ∈Θとする．

このとき，以下の定理が成り立つ．

( )1,..., nT T X X= がθの十分統計量である⇔ ( ) ( ) ( ), ,f h g Tθ θ= ⋅X x ， ,n θ∀ ∀∈ ∈Θx

例） ( ). . .

1,..., ~ , 0i i d

nX X Po λ λ > とすると， ( ) , 0,1, 2,...!

xef x xx

λ λ− ⋅= = となる．このとき，

X の同時確率関数は以下のようになる．

( )11 1

1,..., ;! !

ii

xn nxn

ni ii i

ef x x ex x

λλλλ λ

−−

= =

⋅ ∑= = ⋅ ⋅

∏ ∏

東京大学医学系研究科 M1 倉橋 一成

4

ここで ( )1

1!

n

i i

h xx=

=∏ ， ( ), ixnf T e λλ λ− ∑= ⋅ とおくと，因子分解定理より ( )1

n

ii

T X=

=∑X が

λの十分統計量となる．

Fisher情報量，情報行列

パラメータが 1 次元の場合，以下を標本 X の Fisher 情報量という．

( ) ( ) ( )2 2

2log , log ,nI E f E fθ θ θθ θ

∂ ∂ = = − ∂ ∂ X X

パラメータが k 次元の場合，以下を標本 X の Fisher 情報行列という．

( ) ( ) ( ) ( ) ( ), log , log ,ij iji j

I I I E f fθ θ

∂ ∂ = = ⋅ ∂ ∂

θ θ θ X θ X θ

・ 1,..., nX X が独立同一分布（i.i.d.）のとき ( ) ( )1nI nIθ θ= である（ ( )1I θ は n=1 のときの

Fisher 情報量）． 証明）

( ) ( ) ( )

( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

22

22

2 2

log , log , log ,

log , , log , ,

, 1n n n

V f E f E f

f f d f f d

I f d I I

θ θ θθ θ θ

θ θ θ θθ θ

θ θ θ θθ θ

∂ ∂ ∂ = − ∂ ∂ ∂

∂ ∂ = ⋅ ⋅ − ⋅ ⋅ ∂ ∂

∂ ∂ = − ⋅ = − ⋅ = ∂ ∂

∫ ∫

∫

X X X

x x x x x x

x x

　　　　　　　　　

　　　　　　　　　

であり， ( ) ( )1

, ,n

ii

f f xθ θ=

=∏X であるから，

( ) ( ) ( ) ( ) ( )1 11

log , log , log ,n

n ii

I V f V f x nV f x nIθ θ θ θ θθ θ θ=

∂ ∂ ∂ = = = = ∂ ∂ ∂ ∑X

となり，示された．

クラメール・ラオの不等式

正則条件 1)すべての ,θ ∈Θx に対して ( )log ,f θθ∂

< ∞∂

x が存在する．

東京大学医学系研究科 M1 倉橋 一成

5

2)微分と積分の交換が保証される．

3) ( )2

0 logE fθ

∂ < < ∞ ∂ X

以上の正則条件が満たされ， ( )T X が ( )g θ の不偏推定量であり， ( )V T < ∞のとき以下の

不等式が成立する．

( )( )

( )

2

n

gV T

I

θθ

θ

∂ ∂ ≥

証明） ( ) ( )U T g θ= −X ， ( )log ,H f θθ∂

=∂

X とおく．すると，

[ ] ( ) ( ){ } ( ) ( ) ( ){ } ( ) ( )

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( )

log , log , ,

1 1, , , ,, ,

, , 0

E UH E T g f T g f f d

T f f d g f f df f

T f d g f d E T g

θ θ θ θ θθ θ

θ θ θ θ θθ θ θ θ

θ θ θ θθ θ θ

∂ ∂ = − = ⋅⋅⋅ − ⋅ ⋅ ∂ ∂ ∂ ∂

= ⋅⋅⋅ ⋅ ⋅ ⋅ − ⋅⋅⋅ ⋅ ⋅ ⋅ ⋅∂ ∂

∂ ∂ ∂= ⋅⋅⋅ ⋅ ⋅ − ⋅⋅⋅ ⋅ = − = ∂ ∂ ∂

∫ ∫

∫ ∫ ∫ ∫

∫ ∫ ∫ ∫

X X x x x x

x x x x x x xx x

x x x x x X

　　

　　

，

( ) ( ){ } ( ) ( ){ } ( )222E U E T g E T E T V Tθ = − = − = < ∞

X X X X ，

( ) ( )2

2 log , nE H E f Iθ θθ

∂ = = < ∞ ∂ X

ここで，シュワルツの不等式より [ ]{ }2 2 2E UH E U E H ≤ ⋅ であるから以下の不等式が

成立する．

( ){ } ( ) ( )ng V T Iθ θ≤ ⋅ X

よって ( )( )

( )

2

n

gV T

I

θθ

θ

∂ ∂ ≥ となり，クラメール・ラオの不等式が示された．等号成立は

( ) ( ) ( ) ( )Pr log , 1T g K fθ θ θθ∂ − = ⋅ = ∂

X X となる ( )K θ が存在するときである．

・特に ( )g θ θ= のとき， ( ) ( )1

n

V TI θ

≥ となる．

東京大学医学系研究科 M1 倉橋 一成

6

・不偏推定量 T*について， ( ) ( )* 1

n

V TI θ

= であれば T*は UMVUE である．

・クラメール・ラオの不等式の一般化として，バタチャリヤ（Bhattacharya）の不等式が

ある．

Rao-Blackwellの定理

( )1,..., nX X=X ，θ：パラメータ， ( )T T= X をθの推定量， ( )S S= X をθに関する十

分統計量とする．このとき *T E T S= とおくと以下の不等式が成立する．

( ) ( )2 2*E T E Tθ θ − ≤ −

証明）まず ( ) [ ] [ ]{ }22E T V T E Tθ θ − = + − ， ( ) { }22* * *E T V T E Tθ θ − = + − で

ある．ここで，以下の 2 つの性質を利用する． 1)期待値繰り返しの公式

( ) ( ) ( ) ( ) ( )

( ) ( ) [ ],

X XY XX Y

XY Y

E E Y X E Y X f x dx y f y x f x dydx

y f x y dydx y f y dy E Y

= ⋅ ⋅ = ⋅ ⋅ ⋅

= ⋅ ⋅ = ⋅ ⋅ =

∫ ∫ ∫

∫ ∫ ∫　　　　　　

2)

( ) ( ) ( ) ( ){ } ( ){ } ( ){ }( ){ } ( ){ } [ ]{ }

[ ]{ } [ ]

22 22

2 2 22

22

X YY XE V Y X V E Y X E E Y X E Y X E E Y X E E Y X

E Y E E Y X E E Y X E Y

E Y E Y V Y

+ = − + − = − + −

= − =

　　　　　　　　　　　　

　　　　　　　　　　　　

以上 1)，2)より

( ) [ ] [ ]{ } ( ) ( ) [ ]{ }

( ) [ ]{ } [ ]{ } ( )

2 22

22 2* * *

E T V T E T E V Y X V E Y X E T

E V Y X V T E T V T E T E T

θ θ θ

θ θ θ

− = + − = + + − = + + − ≥ + − = −

　　　　　　

となり，示された．

完備統計量

東京大学医学系研究科 M1 倉橋 一成

7

「統計量 ( )T X が完備（complete）である」⇔任意の関数 ( )g T に関して ( ) 0,E g T θ∀=

ならば ( )( )0 1P g T = = となる．

・θに関する十分統計量であり，かつ完備であるものをθにかんする完備十分統計量とい

う．

例） ( ). . .

1,..., ~ , 0i i d

nX X Po λ λ > であるとき， iT X=∑ はλに関する完備十分統計量である．

証明）まず T は十分統計量である（前述）．分布の再生性から，T はパラメータ nλのポア

ソン分布になり，T の確率関数は以下のようになる．

( ) ( ); , 0,1, 2,...!

tne nf t t

t

λ λλ

− ⋅= =

ここで ( ) 0E g T = となる関数 ( )g T を考えると，

( ) ( ) ( ) ( ) ( ) ( ) ( )2

00 0 1 2

! 1! 2!

tnn

t

e n nnE g T g t e g g gt

λλλ λλ−∞

−

=

⋅ = = ⋅ = + + + ⋅⋅⋅

∑

となり， 0, 0n λ> > であるから ( ) ( )0 1 0g g= = ⋅⋅⋅ = となる．故に ( )( )Pr 0 1g T = = とな

り， iT X=∑ が完備十分統計量であることが示された．

・指数型分布族 ( ) ( ) ( ) ( ) ( )1

; expk

i i j j ij

f x h x c T x d=

= ⋅ +

∑θ θ θ に於いて，以下の統計量も

指数型分布族に属し，且つ完備十分統計量となる．

( ) ( ) ( )11 1

,...,n n

i k ii i

S T X T X= =

= ∑ ∑X

Lehman-Sheffeの定理

( )S X ：θの完備十分統計量， ( )T X ：θの不偏推定量とするとき， ( ) ( )*

TT E T S = X X

は唯一の UMVUE である．つまり完備十分統計量の関数となっている不偏推定量はただ 1つであり，その分散は不偏推定量の中で最小である．

証明）まず T が不偏推定量であるから，Rao-Blackwell の定理より ( ) ( )* ,V T V T θ∀≥ とな

東京大学医学系研究科 M1 倉橋 一成

8

る．ここである不偏推定量 ( )U X を考え， ( ) ( )**T E U S = X X とおく．すると T*，T**

共に不偏推定量であることから * ** * ** 0,E T T E T E T θ∀ − = − = が成立する．さらに

T*，T*は完備十分統計量 ( )S X の関数になっていることから ( )* **Pr 0 1T T− = = ，つまり

T*=T*となる．よって T*は唯一のθの UMVUE であることが示された．

効率

( ) ( )[ ] ( ) [ ]

1 1n

n

Ieff T

V T I V Tθ

θθ

= =⋅

を不偏推定量 ( )T X の効率という．

・eff=1 となる不偏推定量 T を有効推定量（efficient estimator）という． ・有効推定量は UMVUE であるが，UMVUE は必ずしも有効推定量であるとは限らない． 例）正規分布の母平均が未知である場合の母分散の推定に関して，母分散の不偏推定量は

UMVUE であるが，この推定量の分散はクラメール・ラオの下限を達成していない．

漸近効率

( ){ }nT X をパラメータθの推定量の列とするとき以下を nT の漸近効率という．

( ) ( ) ( ) [ ]1lim limnn n

n n

eff T eff TI V Tθ θ θ→∞ →∞

= =⋅

漸近相対効率

{ }nT を ( )( ) ( )210,

d

nn T g Nθ σ− → となる ( )g θ の推定量の列とし，{ }*nT を

( )( ) ( )* 220,

d

nn T g Nθ σ− → となる ( )g θ の他の推定量とする．このとき以下を*

nT に対す

る nT の漸近相対効率という．

( )2

* 221

,n nARE T T σσ

=

東京大学医学系研究科 M1 倉橋 一成

9