实验数据处理方法第三部分：统计学方法

实验数据处理方法实验数据处理方法第三部分：统计学方法第三部分：统计学方法

第十二章最大似然法(Maximum Likelihood method)

第十二章最大似然法(Maximum Likelihood Method)

点估计的方法之一，是参数估计中常用的方法，具有以下的特点：

1. 在一定的条件下， ML 估计式满足一致性、无偏性、有效性等要求；

2. 当样本容量 n时， ML 估计式满足正态分布方差容易计算；

3. 用 ML 方法可较容易地得到参数的估计式；

本章内容：1. 最大似然原理；2. 用 ML 方法求解参数估计问题的步骤；3. ML 估计式的特性；4. 如何计算 ML 估计值的方差；5. 利用似然函数进行区间估计

第十二章最大似然法(Maximum Likelyhood Method)

12.1 最大似然原理

12.1 12.1 最大似然原理最大似然原理( 一 ) 似然函数的定义

p.d.f ： f(x|)测量量： x = {x1, x2, …, xn }

1)|(

)|()|(1

xdxL

xfxLn

ii

( 二 ) 最大似然原理

未知参数的最佳估计值应满足如下的条件：

)|()ˆ|( xLxL

i. 位于的允许取值范围；ii.对于给定的一组测量值，使 L 取极大值：

12.1 12.1 最大似然原理最大似然原理( 三 ) 估计值的求法

似然方程： 0),()|(

1

n

iixf

xL

极大值条件： 0)|(

ˆ2

2

xL

因为 lnL 是 L 的单调上升函数， lnL 和 L 具有相同的极大值点，所以， LlnL ，求和运算比乘积运算容易处理

似然方程：

极大值条件： 0)|(ln

ˆ2

2

xL

0),(ln)|(ln

1

n

iixf

xL

如果有 k 个位置参数， = {1, 2, …, k}

k 阶似然方程kjxf

xL n

ii

jj

,,2,10),(ln)|(ln

1

估计值： }ˆ,,ˆ,ˆ{ˆ21 k

12.1 12.1 最大似然原理最大似然原理极大值条件：二次矩阵是负定的 (Negative definite))ˆ(U

ˆ

2

|)|(ln

)ˆ(

jiij

xLU


12.2 用 ML 方法进行参数估计的步骤

12.2 12.2 用用 MLML 方法进行参数估计的步骤方法进行参数估计的步骤

1) 构造概率密度函数；2) 构造似然函数；3) 求似然函数的极大值。

12.2 12.2 用用 MLML 方法进行参数估计的步骤方法进行参数估计的步骤（一）构造概率密度函数

物理系统的特性：某些量的理论概率分布函数实验的条件：分辨率、探测效率

ML 方法中所需的 p.d.f

例：不变质量谱分析： e+e-J/K+K-

• 通过测量 K+K- 的动量，可得到 K+K- 的不变质量分布，对该分布进行统计分析，可得到衰变过程中产生的共振态的信息；

• 描述不变质量 m 的分布的 p.d.f 应包含对该分布有贡献的物理过程

12.2 12.2 用用 MLML 方法进行参数估计的步骤方法进行参数估计的步骤1. 信号事例：

KK

XJ

在不变质量为 m0 处出现共振态 X 的弹性散射振幅可用 Breit-Wigner 公式描述：

20

imm

BW

： X 的宽度， m0 ： X 的静质量， m ： K+K- 的不变质量

（ 1 ）如果较小

4)( 220

2

mm

BW

实验结果包含质量分辨率和探测效率的影响， ~ ，故必须对理论公式进行修正

mdmmRmBWBW ),()(22


(m) ：效率函数，因 (m) 随 m 的变化较小，故 (m)~ 常数 R(m,m´) ：分辨率函数，真值为 m 时，获得测量值 m´ 的概率

其中：

])(exp[2

1),( 22

21

mmmmR

：质量分辨率因此，窄共振峰的 p.d.f 为

222

)()(

))(Re(2

1),(

0

2

2

imm

z

izerfcezw

zwmdmmRBW

z

12.2 12.2 用用 MLML 方法进行参数估计的步骤方法进行参数估计的步骤（ 1 ）如果较大，宽共振峰

如果在衰变过程中存在着多个宽共振，则可能存在仙湖干涉的现象，设有 Namp 个相干的共振峰，则描述这些共振峰的 p.d.f 为

因为 >> ，所以 R(m,m´)~ (m-m´)

2

~

0

2

211

1

immBW

BWeBW

k

kk

N

kkk

amp

k

k-1：相位差k-1：第 k个相干的共振峰事例数 /第一个相干的共振峰的事例数


2. 本底事例：相空间本底、粒子误判本底、其它衰变道本底等

bN

i

iipsback xPb

mmmfmf

1minmax

)(11

),(~),(

fps(m,)：相空间函数

Pi(x)： i 阶 Legendre 多项式

bi ：未知参数minmax

min1mm

mmx

12.2 12.2 用用 MLML 方法进行参数估计的步骤方法进行参数估计的步骤如果衰变过程中： NBW 个窄共振峰、 Namp 个相干共振峰，则 m的 pdf

1

1

2

1 12

1

1( | ) Re( ( )) /

2

(1 )

bw

amp

k

BW

N

m BWk m

Ni

k k ampk

N

k back backk

f m W z C

BW e BW C

f C

其中： CBW 、 Camp 、 Cback 为归一化常数，保证 ( | ) 1f m dm ：第 k个窄共振峰事例数 /总事例数k

： Namp 个相干共振峰事例数 /总事例数

BES 分析软件 BWFIT 程序中使用的 p.d.f

（二）构造似然函数

12.2 12.2 用用 MLML 方法进行参数估计的步骤方法进行参数估计的步骤设对某物理系统进行了 n 次测量， x1、 x2、… xn

1

ln ( | ) ln ( | )n

ii

x f x

L

根据需要可对

在实验条件一定的条件下，事例的产生率为常数，在时间 t内获得 n个事例的概率为泊松分布。

观测到 n 个事例，且测量量为 x1 、 x2 、… xn 的联合概率为

条件： ν 必须能够精确确定

( | )x L 进行变化：1. 广义似然函数（ Generalized Likelihood Function）

总事例数 n也是随机变量，服从平均值为 υ 的泊松分布：

1

( , | ) ( | ) ( | )! !

n n n

ii

e en x x f x

n n

L L

广义似然函数， ( ) =

优点： n 对 θ增加了附加的限制

12.2 12.2 用用 MLML 方法进行参数估计的步骤方法进行参数估计的步骤2. 数据分类情况下的似然函数

对实验数据进行分间隔处理，（如作成直方图）然后用 ML方法对分类

in

后的数据进行处理。

优点：减小了数据量，使得对的计算速度加快L

缺点：由于将原L简化为少量的几个“平均” pdf 的乘积，使得参数估计的精度下降。

设将 x 的变化范围分成了 N个间隔：第 i个间隔内的事例数

1

N

ii

n n

ip ：某事例落入第 i个间隔的概率

N个事例分布于 N个间隔内，每个间隔内的事例数为 n1、 n2、… nN

的概率满足多项式分布：


1 21

1( , | ) !

( ) ( | )

i

i

nn

N ii i

i i x

n n n n Pn

P P f x dx

L

ix ：间隔的宽度

取对数并只保留与θ有关的项1 2

1

( , | ) ( )N

N i ii

ln n n n n P

L

分间隔的似然函数（ Binned Likelihood Function ）(1) N很大， ix 很小， 1 2( | ) ( , | )Nx n n n L L

(2) 如果在某一间隔内的变化不是很大，则用 1 2( , | )Nn n n L

得到的 θ的精度是可接受的


lnln ( ) 0, 1,2

n

ji i

f x | i k

L=

/1( | ) 0tf t e t

lnf L

例：估计粒子的平均寿命

（三）求似然函数的极大值

1. 求解似然方程：

一般情况下无解析解，只能用数值解法。

2. 用 CERN 程序 MINUIT 求解函数的极小值，得

θ的估计式及其误差

探测 K0粒子的产生和衰变。假定探测器无限大，则 K0 粒子在t时刻衰变的 p.d.f


i

L L Et

c pc

ˆ2 2

ln| ) 0

ˆn

L

τ：粒子的平均寿命，为未知参数。 K0 的飞行时间 ti

L ：飞行距离， p：动量， E：能量， c：光速

对于 n个观测事例：

1

1( ) i

nt

i

t | e

L

21 1

ln 1( ln ) ( ) 0

n ni i

i= i=

t t

L=

1

1ˆ

n

ii

t tn

当 ˆ 时， LF 取极大值。


12.3 ML 估计式的特性

1. 参数变换不变性

ˆ ˆ0| |

L L

12.3 ML12.3 ML 估计式的特性估计式的特性

设是参数的 ML估计值，( ) 是 θ的函数。如果用 ( ) 作为参量来求 LF的极大值，则所得 θ的估计值亦为

如果 ˆ 0|

，则有 ˆ ˆ( )0| |

L L

ˆˆ( ) ( ) 2. 一致性（ consistency ）

在一般条件下， ML估计值满足一致性条件，即

n ，当 n 时。3. 无偏性（ unbiassedness）

在某些特殊情况下， ML 估计式是无偏的，即在一般条件下， ML 估计式不满足无偏性：故当样本容量

ˆ( )E

n 时， ML 估计式总是无偏的。

ˆ( )E , 但其偏差 1( )on

( ) ( ) ( )x | G t | H x L

12.3 ML12.3 ML 估计式的特性估计式的特性

如果 θ的充分估计式 t存在，则用 ML方法一定能得到该估计式。

4. 充分性（ sufficiency ）

充分必要条件

( )= 0 = 0

G t |

L

即θ只依赖于 t

5. 有效性（ Efficiency ）

如果 θ的有效估计式 t存在，则用 ML方法一定能得到该估计式。ln

0 = ( )[ ( )]A t b

L

充分必要条件

6. 渐近正态性（ Asympototic normality ）

在样本容量很大时， θ的 ML估计值满足渐近正态分布，其平均值

为 θ的真值 θ0，方差为最小方差限（ MVB ）。


12.4 ML 估计式的方差

12.3 ML12.3 ML 估计式的方差估计式的方差对 ML估计值的误差的估计依赖于 p.d.f 的性质和样本的大小，不同

（一）方差估计的一般方法（适合于任何容量的样本）

通过求解似然方程

的方法适用于不同的样本；大样本公式，小样本公式。

统计误差：如果 p.d.f 是纯理论公式，即没有对实验条件进行修正，则由 ML 得到的误差为统计误差。否则：误差统计误差＋实验误差

LF : 1 21

( | ) ( | ), { , }n

i ki

x f x

L

ln0

i

L ，得 θi 的估计式

1 2ˆ { , }i i nx x x 是随机变量 1 2, nx x x 的函数

的真值： 1 2{ , }n

12.3 ML12.3 ML 估计式的方差估计式的方差

时， ML估计值服从正态分布 N(θ,MVB)

如果

b(θ） :偏差

由有效性条件

样本容量

的方差由 MVB 给出：

如果是 θ的无偏估计， b(θ） = 0

（二）充分 ML估计式的方差是参数 θ的充分估计式（从而也是有效估计式）。则

)ln

()1()ˆ( 2

22

d

Eb

V

)]()[(ln

btA

L

ˆ2

2

2

2 ln)1)(()

ln(

LL bAE

ˆ2

22 )

ln()1()ˆ(

db

V

ˆ2

2

)ln

(1)ˆ(

LV

（三）大样本的 ML估计式的方差n

正态分布中变量和平均值是对称的

参数 θ服从 N(θ,MVB)]

)(

)ˆ(

2

1exp[

2

V

~L

12.3 ML12.3 ML 估计式的方差估计式的方差

不同的公式给出的方差不同，因此，在给出实验结果

在一般情况下，

将式中的 L 用 p.d.f代替可得到方差的平均值

用此式可以估计：欲达到一定的误差，需进行的实验次数 n。

dxff

fnV

jiij ))((

1)ˆ(

)ln

(1)ˆ( 2

2

L

V

ˆˆ

指明误差是如何计算的时，

MVB:

dxf

fnV 21 )(

1)ˆ(

jiijV

Lln)ˆ(

21

)ˆ(ijV 应由（一）中的公式求解，但很难得到 )ˆ(ijV

的解析解，只能用数值方法。


12.5 利用似然函数进行区间估计

12.5 12.5 利用似然函数进行区间估计利用似然函数进行区间估计

不同的公式给出的方差不同，因此，在给出实验结果

在一般情况下，

将式中的 L 用 p.d.f代替可得到方差的平均值

用此式可以估计：欲达到一定的误差，需进行的实验次数 n。

dxff

fnV

jiij ))((

1)ˆ(

)ln

(1)ˆ( 2

2

L

V

ˆˆ

指明误差是如何计算的时，

dxf

fnV 21 )(

1)ˆ(

jiijV

Lln)ˆ(

21

)ˆ(ijV 应由（一）中的公式求解，但很难得到 )ˆ(ijV

的解析解，只能用数值方法。

ML估计式的误差可用区间估计方法来估计


其中 γ为 θ的真值落入 [θa,θb]间的概率，取相对对称的区间

Q

nex 2

1

(max))()|(

LLL

在一般情况下，当测量次数无限大时，似然函数 L 将与样本变量无关

且呈正态分布 ,))ˆ(,ˆ( VN )ˆ(2 V

Q2

1(max)ln)(ln LL

2)ˆ

( Q

b

a

Qb

adedBelief ba

2

1

(max))()( LL

)

ˆ()

ˆ(

2

1)ˆ(

)ˆ(

2

2

1ab

yGGdyeb

a

)( baP

]ˆ,ˆ[ mm ba

1)(2)ˆˆ( mGmmP

θ的真值落入 [θa,θb]间的可信度

，有


是抛物线 lnL (θ)与直线

例：

2ˆ mQm

m ˆ 2

2

1(max)ln mL 的两个交点

求解出这两个交点即可得到的误差 ˆ

]ˆˆ,ˆˆ1:1 [似然区间m

%3.68

]ˆ2ˆ,ˆ2ˆ2:2 [似然区间m

%4.95

实验结果 1ˆˆ 误差

MINUIT 程序中误差定义量 5.02

1UP 2 m ML 方法

如果测量次数 n 为有限数，则 LF 将不是正态型2)(

2

1

)|()(gg

egxggg

L


用上述方法求出 g的似然区间

小结： 1）最大似然原理：

g

b

aba

ˆ

0ln

,1ln

ˆ2

2

LL

)ˆ(gg为变量 g的 ML估计值， ML估计值变换不变性

]ˆ,ˆ)(1

bagg

[]g,g[ ba

2）应用步骤：构造似然函数，求解似然方程

3） ML估计值的性质：一致性、无偏性、有效性和充分性

变量变换不变性、渐近正态性

4） ML估计值方差的求法：不同的方法有各自的适用范围，

给出不同的结果

2

2

1(max)ln mL

5）似然区间估计给出的误差：求解 )(ln L 与直线

的两个交点

实验数据处理方法第三部分：统计学方法

Documents

Transcript of 实验数据处理方法第三部分：统计学方法

实验数据处理方法 第三部分：统计学方法

Documents

Transcript of 实验数据处理方法 第三部分：统计学方法

实验数据处理方法第三部分：统计学方法

Transcript of 实验数据处理方法第三部分：统计学方法