第 1 章概率基础 Probability Base

第第 11 章章概率基础概率基础

第第 11 章概率基础章概率基础Probability BaseProbability Base

数理统计课题组


本章大纲本章大纲

1.1 概率分布与分布的特征1.2 常见的统计分布1.3 样本与抽样分布

第第 11 章章概率基础概率基础 1.1 概率分布与分布的特征

(Probability distributions and distribution characteristics)

1.1.1 联合分布1.1.2 随机变量函数的分布1.1.3 条件数学期望1.1.4 矩母函数


1.1.1 联合分布 (Joint Distribution)

联合分布函数：设 X1, X2,…, Xn 是 n 个随机变量，对给定的 n 个实数 x1, x2,…, xn , 称

F(x1, x2,…, xn)=P (X1≤ x1, X2≤ x2,…, Xn ≤ xn)

为其联合分布函数。



离散型：联合概率函数 p(x1, x2,…, xn)=P (X1= x1, X2=x2,…, Xn = xn)

1

d,,d),,,(),,,( 12121

x x

nnn

n

uuuuufxxxF

则称 f (x1, x2,…, xn ) 为其联合概率密度函数

连续型：联合概率密度函数如果存在 n 维非负可积函数 f (x1, x2,…, xn ) ，使得



边缘分布函数：设 X1, X2,…, Xn 是 n 个随机变量，F(X1, X2,…, Xn) 为其 n 维联合分布函数，对正整数1 ≤k ≤ n ，称 F 1,2,…,k(X1, X2, …, Xk)

=F(x1, x2, …, xk,+∞,…,+∞)

=P (X1≤ x1, X2≤ x2,…, Xk ≤ xk , Xk+1 ≤ +∞,…, Xn ≤ + ∞ )

为 k 维边缘分布，这样的边缘分布有个。knC

第第 11 章章概率基础概率基础 1.1.1 联合分布 (Joint Distribution)

【例 1.1 】多项分布（ Multinomial Distribution)

一个随机现象共有 r 种可能的结果，第 i 种结果出现的概率为pi 。做 n 次独立重复实验，以 Ni 记第 i 种结果出现的次数，则对给定的 r 个非负整数 n1,n2, … ,nr(n1+n2+…+nr =n), 有

rnr

nn

r

rr

r

pppnnn

n

nNnNnNP

nnnp

2121

21

2211

21

!!!

!

),,,,(

),,,(

称为多项分布（ r 项分布）


【例 1.1 】多项分布（ Multinomial Distribution)

由于 N1+N2+…+Nr =n, 所以 r 项分布实际是 r-1 维的，可以改记为

rnr

nn

r

rr

r

pppnnn

n

nNnNnNP

nnnp

2121

21

112211

121

!!!

!

),,,,(

),,,(

显然二项分布是多项分布的边缘分布


【例 1.2 】 Farlie-Morgenstern Family (P77-79)

设 F(x) 和 G(x) 都是一维连续型分布函数（ cdf ） ,可以证明，对任意 -1≤≤1 ，

H(x,y)=F(x)G(y){1+ [1-F(x)][1-G(y)]}

是二维连续型分布函数。　　　 H(x,∞)=F(x) ， H(∞,y)=G(y)

取 F(x) 和 G(x) 都是 [0 ， 1] 区间的均匀分布，此时 F(x)= x ， 1≤x≤1 ； G(y)= y ， 1≤y≤1 ；



对 =-1

H(x,y)=xy[1-(1-x)(1-y)]

二维密度函数为

10,10,422

),(),(2

yxxyyx

yxHyx

yxh

注：当 F(x) 和 G(x) 都是 [0 ， 1] 区间的均匀分布时，此时联合分布函数 H(x,y) 称为 copula, 可改记为 C(x,y) 。


1.1.2 随机变量的函数的分布

设 X1, X2,…, Xn 是 n 个随机变量， fX1, X2,…, Xn (x1, x2,…, xn ）是其联合密度函数。若

Y1=g1(X1, X2,…, Xn) ，… , Yn=gn(X1, X2,…, Xn)

是（ X1, X2,…, Xn ）与（ Y1, Y2,…, Yn ）的一一对应变换，其反变换

X1=h1(y1, y2,…, yn) ，… , Xn=hn(y1, y2,…, yn)

具有连续的一阶偏导数，则 Y1, Y2,…, Yn 的联合密度函数为fy1, y2,…, yn (y1, y2,…, yn)= fX1, X2,…, Xn (x1, x2,…, xn)| Jg

-1 (x1, x2,…, xn)|

其中 x1=h1(y1, y2,…, yn) ，… , xn=hn(y1, y2,…, yn)


1.1.2 随机变量的函数的分布

n

nn

n

ng

x

g

x

g

x

g

x

g

xxJ

1

1

1

1

1 ),,(是雅可比（ Jacobian ）行列式

记

n

nn

n

nh

y

h

y

h

y

h

y

h

yyJ

1

1

1

1

1 ),,(

fy1, y2,…, yn (y1, y2,…, yn)= fX1, X2,…, Xn (x1, x2,…, xn)| Jh(y1, y2,…, yn)|


则

第第 11 章章概率基础概率基础 1.1.2 随机变量的函数的分布

例 1.3 (P99-102)

)2

exp(2

1),(

22 yxyxf XY

22,tan, 122

X

YYXR

)sin(),cos( RYRX

设 X ， Y 是独立的 N(0 ， 1) 随机变量，其联合密度为

做变换逆变换

ryxyx

x

yx

y

yx

y

yx

x

y

g

x

g

y

g

x

g

J g

1122

2222

2222

11

11

rr

fR )2

exp(2

1 2

第第 11 章章概率基础概率基础 1.1.2 随机变量的函数的分布

例 1.3 (P99-102)

rrrh

r

h

h

r

h

J h

cossin

sincos

11

11

rr

fR )2

exp(2

1 2

或由

fy1, y2,…, yn (y1, y2,…, yn)= fX1, X2,…, Xn (x1, x2,…, xn)| Jh(y1, y2,…, yn)|



1.1.3 条件数学期望（ Conditional Expection ）

y

XY xyypxXYE )|()|( |

设给定 X=x 时 Y 的条件分布为 FY|X(y|x), 则称E(Y| X=x)=∫yd FY|X(y|x)

为给定 X=x 时 Y 的条件期望。如果 X 的取值没有事先给定，则 E(Y| X) 也是随机变量，是 X 的函数。

离散型

连续型

Y 的函数 h(Y) 的条件期望为 E[h(Y)| X=x]=∫h(y)d FY|X(y|x)

yxyyfxXYE XY d)|()|( |

第第 11 章章概率基础概率基础 1.1.3 条件数学期望（ Conditional Expectio

n ）例 1.4 P147

)!(

])1[(

!

)(),(

)1(

xn

ep

x

epnxp

pxnpx

XN

一个 [0 ， 1] 区间的 Possion 过程平均发生次数为，记N 是 [0 ， 1] 区间发生的总次数，对 p <1 ，记 X 是 [0 ， p]

区间发生的次数，求给定 N = n 时 X 的条件分布和条件期望。

解

所以 Y 的条件期望为 np 。

xnx

N

XNNX pp

xnx

n

np

nxpnxp

)1(

)!(!

!

)(

),()|(|


n ）例 1.5 P148

)1(

)(

2

1exp

)1(2

1)|(

22

2

2|

Y

Xx

yY

y

XY

xy

xyf

)( Xx

yY x

设 X ， Y 是二维联合正态分布，由于

所以给定 X=x 时 Y 的条件期望为

问题是什么)1( 22 Y

第第 11 章章概率基础概率基础 1.1.3 条件数学期望（ Conditional Expectatio

n ）全期望公式（ Law of total expectation) P149

)]|([)( XYEEYE

x

X xPxXYEYE )()|()(离散型为

证：

)()(

)()|(

)()|(

)()|(

|

|

YEyyP

xPxyPy

xPxyyP

xPxXYE

yy

y xXXY

x yXXY

xX


n ）随机和 (Random Sums) P150

N

iiXT

1

)()(

)]([)]|([)(

XENE

XNEENTEETE

其中 N 是与 Xi 相互独立的随机变量， Xi 有相同的期望 E(X), 则

2

2

1

)]()[()()(

)]()[()]([

)}({)]|([

)]|([)]|([)(

XENVARXVARNE

XENVARXVARNE

XENVARNXVARE

NTEVARNTVARETVARN

ii

设 Xi 有相同的方差 VAR(X), 则


n ）方差公式 P151

)]|([)]|([)( XYVarEXYEVarYVar

证：

)]|([)]|([

)]}|([{})]|({[})]|({[)]|([

)]}|([{)]|([

)]([)()(

2222

22

22

XYVarEXYEVar

XYEEXYEEXYEEXYEE

XYEEXYEE

YEYEYVar


1.1.4 矩母函数（ Moment-generating function) P155

)(d)()( xFeeEtM txtX

如果一个分布函数 F(x) 的矩母函数 M(t) 在包含 0 的一个开区间内存在，则两者是相互惟一确定的。

xxfetM

xpetM

tx

x

tx

d)()(

)()(

连续型：

离散型：


1.1.4 矩母函数（ mgf, Moment-generating function) P155

)()0()( rr XEM

性质 A 如果一个分布函数 F(x) 的矩母函数 M(t) 在包含 0 的一个开区间内存在，则两者是相互惟一确定的。

性质 B 如果一个矩母函数 M(t) 在包含 0 的一个开区间内存在，则



)()( btMetM Xat

Y 则

性质 C 设 Y=a+bX

性质 D 设 X 和 Y 是独立随机变量 , Z=X+Y, 则

)()()( tMtMtM YXZ 则



常见分布的矩母函数

分布名称概率密度函数矩母函数

二项分布 1)1(

xx ppx

n

ntpep )1(

泊松分布 ex

x

! )1( tee

正态分布 22

)(2

1

2

1

x

e 2/22ttee

伽玛分布

tex x ,)(

1

t


1.2 常见的统计分布

1.2.1 分布1.2.2 分布1.2.3 2 分布1.2.3 t 分布1.2.4 F 分布

第第 11 章章概率基础概率基础 1.2 常见的统计分布

1.2.1 分布和 2 分布 P53 P192

伽伽分布的概率密度为

0,)(

)( 1

xexxg x

其中参数 >0 称为形状参数

（ shape prameter ）

参数 >0 称为规模参数

（ scale prameter ）


1.2.1 分布和 2 分布

0

1 d)( tet t伽伽是函数

性质 1 ：

)5.0(;1)0()1(

;!)1();()1( nn

2)(;)(

)2)(1(

)(

)()(

XVarXE

kkkXE

kkk


1.2.1 分布和 2 分布

性质 2 ：分布的矩母函数为

ttM 1)(

性质 3 ：可加性。若 Xi~ (i), i=1,2,…,n, 且相互独立，则

n

i

n

iiiX

1 1

),(~


1.2.1 分布和 2 分布

2

1,

2 n

2~ nX

0,)2(2

1);( 212

2

xex

nnxf xn

n

性质 4 ：若 X~ (), 则 X~ ();

反之，若 Y~ (1), 则 X/~ ()

性质 5 ：当 =1 时，分布就是指数分布e()性质 6 ：时的分布称为自由度为 n 的卡方分布，

记做


1.2.1 分布和 2 分布

n

ii nX

1

22 )(~

性质 7 ：若 X1, X2,…, Xn iid~N(0,1), 则

证明：只须证明 )2

1,

2

1(~2 iX 再根据可加性即得

iid 表示独立同分布（ independent identical distribution ）


1.2.2 分布 P58

分布的概率密度为

10,)1()()(

)()( 11

xxxba

baxf ba

其中 a>0 ， b>0 是参数，当 a=b=1 时就是分布就是 U (0 ，1)


1.2.2 分布

1

0

11 d)1()(

)()(),( ttt

ba

baba ba 是函数

性质 1 ：

)1()()(;)(

)1()1)((

)1()1(

)()(

)()()(

2

baba

abXVar

ba

aXE

kbababa

kaaa

kbaa

bakaXE k

性质 2 ：伽 X~ (a), X~ (b), 相互独立，则

),(~ baBYX

XZ


1.2.3 2 分布 P193

)2

1,

2()(2 n

n

)(~ 2 nYn

0,)2(2

1);( 212

2

xex

nnxf xn

n

n

iin XY

1

2

性质：当 n =1 时

若 X1, X2,…, Xn iid~N(0,1), 则称为自由度为 n 的卡方分布，

记做

于是得 2(n) 的密度函数

)2

1,

2

1(~2

1 X

再根据可加性即得

iid 表示独立同分布（ independent identical distribution ）


由阿贝 (Abbe) 于 1863 年首先给出，后来由海尔墨特 (Hermert) 和卡 · 皮尔逊 (K·Pearson) 分别于 1875 年和 1900 年推导出来

期望为： E(2(n))=n ，方差为： Var(2(n))=2n

1.2 常见的统计分布 1.2.3 2 分布

不同自由度的卡方分布

n=1

n=4n=4n=10n=10

n=20n=20


1.2.4 t 分布 P193

设 Z~N(0,1),U~2(n) ，则

nU

ZT

/

0

0. 190100716

0. 380201432

0. 570302147

- 4 - 3 - 2 - 1 0 1 2 3 4

N(0, 1)t(1)t(5)t(30)t(100)

称为自由度为 n 的 t 分布，

记为 T~t(n)

2,2

)(

1,0)(

nn

nTVar

nTE


1. 由统计学家费舍 (R.A.Fisher) 提出的，以其姓氏的第一个字母来命名则

2. 设若 U 为服从自由度为 n1 的 2 分布，即 U~2(n1) ，

V 为服从自由度为 n2 的 2 分布，即 V~2(n2),

且 U 和 V 相互独立，则称

为服从自由度 n1 和 n2 的 F 分布，记为

1.2 常见的统计分布1.2.5 F 分布 P194

2

1

nV

nUF

2

1

nV

nUF

),(~ 21 nnFF ),(~ 21 nnFF


1.2.5 F 分布

不同自由度的 F 分布FFFF

（ 1,10)(5,10)(5,10)

(10,10)(10,10)

3. F 分布的期望为

2,2

)( 22

2

nn

nFE

4. 若 F~F(n1,n2) ，

则 1/F~F(n2,n1)

5. 若 T~t(n) ，则 T2~F(1,n)


1.3 样本与抽样分布

1.3.1 伽伽伽伽伽伽伽伽伽

1.3.2 伽伽伽伽伽伽

1.3.3 伽伽伽伽伽伽伽伽伽

第第 11 章章概率基础概率基础 1.3.1 样本均值的抽样分布

( 例题分析 )

2

1

2 )(1

1XX

nS

n

ii

若 X1, X2,…, Xn iid~N(,), 则称 X1, X2,…, Xn

为正态分布 N(,) 一个容量为 n 的简单随机样本 ,

简称为样本。

样本均值 sample mean

n

iiX

nX

1

1

样本方差 sample variance


( 例题分析 )

4

1

5.24

1)(

i

iXE

【例】设总体 X 的分布为

P(X=1)=P(X=2)=P(X=3)=P(X=4)=1/4

1 42 30.1

.2

.3

总体均值

方差

4

1

22 25.14

1)5.2(

i

i


( 例题分析 )

现从总体中抽取 n ＝ 2 的简单随机样本，在重复抽样条件下，共有 42=16 个样本。所有样本的结果为

3,43,33,23,13

2,42,32,22,12

4,44,34,24,14

1,4

4

1,3

321

1,21,11

第二个观察值第一个观察值

所有可能的 n = 2 的样本（共 16 个）


( 例题分析 )

计算出各样本的均值，如下表。并给出样本均值的抽样分布

3.53.02.52.03

3.02.52.01.52

4.03.53.02.54

2.5

4

2.0

321

1.51.01

第二个观察值第一个观察值

16 个样本的均值（ x ）

XX样本均值的抽样分布样本均值的抽样分布

1.0

0

.1

.2

.3 P P ((X X ))

1.5 3.0 4.03.52.0 2.5


( 例题分析 )

= 2.5 σ2 =1.25

总体分布

1 42 3

0

.1

.2

.3

抽样分布P P ( ( X X ))

1.0

0

.1

.2

.3

1.5 3.0 4.03.52.0 2.5XX

5.2X

5.2X

625.02

X 625.02

X


正态总体

样本均值样本均值 XX 的抽样分布的抽样分布

当总体分布为当总体分布为正态分布正态分布 N N ( (μμ,,σσ2 2 ) ) 时，则样本均值时，则样本均值 XX

服从正态分布服从正态分布 NN((μμ,,σσ22//nn) ) ，其均值仍为，其均值仍为 μμ ，方差为，方差为 σσ22//nn

nx x / 的标准差


1.3.2 中心极限定理

中心极限定理中心极限定理

当总体分布不为当总体分布不为正态分布或未知时，但其均值正态分布或未知时，但其均值 μμ 和方差和方差σσ22 都存在，则当都存在，则当 nn 相当大时，样本均值相当大时，样本均值 XX 近似服从正态分布近似服从正态分布NN((μμ,,σσ22//nn) ) ，其均值仍为，其均值仍为 μμ ，方差为，方差为 σσ22//nn 。。

nx x / 的标准差


1.3.2 中心极限定理


定理Ａ　设 X1, X2,…, Xn 为正态分布 N(,) 一个样本，则　与随机向量　　　　　　　　　　　相互独立。

1.3.3 样本方差的抽样分布正态总体

X ),,,( 21 XXXXXX n

证

n

ii

n

iiii

n

iX

i

n

ii

nnn

ttsn

s

ttn

stt

n

stt

n

sM

Xttn

sE

XXtXXtXsEttsM

i

1

22

22

1

22

1

1

111

)(2

exp2

exp

)]([2

)]([exp)]([

)]([{exp

)]}()({exp[),,,(


推论　设 X1, X2,…, Xn 为正态分布 N(,) 一个样本，则　与 S2 相互独立。

1.3.3 样本方差的抽样分布正态总体

X

21

22 ~/)1( nSn

2

1

22

1

22

)/

()(1

)(1

n

XXXX

n

ii

n

ii

定理Ｂ

首先

再由

记做 W = U+ V

2

1

2

1

22

~)()(1

n

n

i

in

ii

XX

第第 11 章章概率基础概率基础 1.3.3 样本方差的抽样分布

正态总体)()()( tMtMtM VUW

2/)1(2/1

2/

)21()21(

)21(

)(

)()(

nn

V

WU

tt

t

tM

tMtM

由

得

21

1

22

~)(1

n

n

ii XXU

第第 11 章章概率基础概率基础 1.3.3 样本方差的抽样分布

正态总体

1~/

ntnS

X

推论对于正态总体的样本有

证 22 /

/~

/

S

nS

X

nS

X

第 1 章概率基础 Probability Base

Documents

Transcript of 第 1 章概率基础 Probability Base

第 1 章 概率基础 Probability Base

Documents

Transcript of 第 1 章 概率基础 Probability Base

第 1 章概率基础 Probability Base

Transcript of 第 1 章概率基础 Probability Base