データ解析基礎論A講義06:統計的検定

Z値（正規化）単位やバラツキの度合いが違う数値の比較に利用可能

•A君：英語で９０点。平均点＝６０、標準偏差＝７•B君：理科で８５点。平均的＝７０、標準偏差＝３

!" =90 − 60

7 = 4.286

!- =85 − 70

3 = 5.000

Z値（正規化）大食い対早食い•A君：20個を完食。平均＝６個、標準偏差＝２•B君：60秒で完食。平均的＝３００秒、標準偏差＝３０秒

!" =20 − 62 = 7.000

!* =60 − 300

30 = −8.000

例題06.1A商品Aと商品Bが同じ割合で選択されると仮定した場合、９人中７人以上が商品Bを選択する確率を計算してください。

S1 S2 S3 S4 S5 S6 S7 S8 S9

A 12 19 10 10 14 18 15 11 16

B 15 20 16 14 17 16 12 12 19

-----------------------------------

B B B B B A A B B

> sum(dbinom(7:9,9,0.5))

[1] 0.08984375

商品Aと商品Bが同じ割合で選択されると仮定した場合、９人中７人以上が商品Bを選択する確率は0.090である。

例題06.1B商品Aと商品Bが同じ割合で選択されると仮定した場合、９人中７人以上が一方の商品を選択する確率を計算してください。> sum(dbinom(c(0:2,7:9),9,0.5))

[1] 0.1796875

商品Aと商品Bが同じ割合で選択されると仮定した場合、９人中７人以上が一方の商品を選択する確率は0.180である。

A�������

B�������

例題0６.2ある通りの平日午前10~11時の1時間の車の交通量は800台で標準偏差が40台だとします。また、この通りの同じ曜日の同じ時間帯の交通量は正規分布に従うと仮定して、以下の数値を求めてください；

A) 交通量が750台から850台になる確率> 2*(0.5-pnorm(750,800,40))[1] 0.7887005B）交通量が700台以下となる確率> pnorm(700,800,40)[1] 0.006209665

例題0６.2ある通りの平日午前10~11時の1時間の車の交通量は800台で標準偏差が40台だとします。また、この通りの同じ曜日の同じ時間帯の交通量は正規分布に従うと仮定して、以下の数値を求めてください；

C）平均値の800を中心に95%の範囲（下限、上限）> qnorm(c(0.025, 0.975),800,40)[1] 721.6014 878.3986D）99%の上限（99%の確率でX台以下となるようなX）> qnorm(0.99,800,40)[1] 893.0539

例題0６.3血液100cc中の赤血球の量の平均値が150ユニットで標準偏差が15とします。また、その分布は正規分布に従うと仮定します。運動部Xの10名の赤血球の量を計測したら、165ユニットでした。­A) 平均値が165ユニット以上となる確率を求めてください。­B）仮定の統計的適切性の考察

練習課題0６.3μ=150、σ＝15、正規分布に従うと仮定­A) 平均値が165ユニット以上となる確率> zA=(165-150)/(sqrt(15^2/10))> zA[1] 3.162278> 1-pnorm(zA)[1] 0.0007827011

→ 運動部Xの10名が赤血球の量が平均値＝150、標準偏差＝15の正規分布に従うと仮定した場合、平均値が１50以上となる確率は0.0008である。

例題0６.3­ B）仮定の統計的適切性の考察

> (1-pnorm(zA))*2[1] 0.001565402

前提：運動部Xの10名が赤血球の量が平均値＝150、標準偏差＝15の正規分布に従うとして得られたデータが極端に稀な（1/20でしか発生しない）場合、仮説が妥当でないと結論づける。結果：運動部Xの10名が赤血球の量が平均値＝150、標準偏差＝15の正規分布に従うと仮定した場合、平均値が165ほど母数に対し稀な値となる確率は0.0016であった。つまり、仮説の運動部Xの赤血球の量が平均値＝150、標準偏差＝15の正規分布に従うと仮定した場合、今回得られたデータより極端な値をとる確率は0.0016であるので、仮説は妥当でないと解釈した。

-3 -2 -1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

comparison of One- & Two-sided Test

z-value

Density

中央極限定理の再びCentral Limit Theorem （中央極限定理）!" + !$ +⋯+ !& − ()

* (!"( + !$( +⋯+ !&( − )

⁄* (は、n→∞の場合、標準正規分布に収束する。

備考： ,- = /0123

あるグループの平均値の珍しさ４月生まれの５０人にIQテストを実地→平均値が１０３そのIQテストの点数は正規分布に従う­平均＝１００、標準偏差＝１５その５０人の平均値は母平均と異なっているか？­母集団で観測される確率が5％以下か？!"#$ =

&' − )

*+, -= 103 − 100

*15, 50= 32.121 = 1.414

5 !"#$ > 1.414 = 0.157

> 2*(1-pnorm(3/sqrt(15^2/50)))[1] 0.1572992

-3 -2 -1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

'expected' observation

z-valueDensity

������

あるグループの平均値の珍しさ!"#$ =

&' − )

*+, -= 103 − 100

*15, 50= 32.121 = 1.414

5 !"#$ > 1.414 = 0.157

母集団

サンプル ���������

あるグループの平均値の珍しさX月生まれの150人にIQテストを実地→平均値が１０３そのIQテストの点数は正規分布に従う­平均＝１００、標準偏差＝１５その1５０人の平均値は母平均と異なっているか？­母集団で観測される確率が5％以下か？

!"#$ =&' − )

*+, -= 103 − 100

*15, 150= 31.223 = 2.449

6 !"#$ > 2.449 = 0.014> 2*(1-pnorm(3/sqrt(15^2/150)))[1] 0.01430588

-3 -2 -1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

'unexpected' observation

z-value

Density

統計検定の考え方１）差がないという仮説をたてる。­複数のデータは同一の分布から発生・収集されると仮定­例：実験群と統制群は同一の分布に従うと仮定する２）データ収集３A）「差がない」という仮定のもと偶然にはまれにしか起きない

→ 仮説を棄却 →「差がない」とは言えない →「差がある」

３B）「差がない」という仮定のもと一定の確率で起きうる→ 仮説を採択 →「差がある」とは言えない →「差がない」

仮説検定(統計学的仮説検定)• 例(行動科学的疑問）：• 学習方法Aは学習方法Bより有効か？• データ解析基礎論を履修前後の統計学の好感度は異なるか？

• どうやって証明する？• 基準？• 個人差？• どの程度の差があればいい？

仮説検定 - 反証反証

­ 仮説Aを提案する­ Aの対立仮説 ¬A をあげる

­ ¬ logical negation (¬A = not A)­ もしAが統計的に起こりにくいならば

→ A仮説を統計的に棄却→ 統計的にAであるとは言えない→ ¬Aであると解釈する

例：­ A: 学習方法Aと学習方法Bの効果は同じである­ ¬A: 学習方法Aは学習方法Bより有効（AとBでは効果は異なる）

仮説検定 - 反証仮説Aを提案するAの対立仮説 ¬A をあげるもしAが統計的に起きうるならば→ A仮説を統計的に採択する→ Aであると解釈する

もしAが統計的に起こりにくいならば→ A仮説を統計的に棄却→ Aでない解釈する→ ¬Aであると解釈する

• 商品Aと商品Bは同程度選択される。• 選択率は同等でない• （商品Bのほうがよく選択される）

• データでは一方の商品が7/9以上選択される確率は0.180である。

• 0.180で起こりうることは「それほど稀でない」

• → 仮説「商品Aと商品Bは同程度選択」を統計的に採択する

• → 商品Aと商品Bは選択率は異ならないと結論づける

仮説検定 - 反証仮説Aを提案するAの対立仮説 ¬A をあげるもしAが統計的に起きうるならば→ A仮説を統計的に採択する→ Aであると解釈するもしAが統計的に起こりにくいならば→ A仮説を統計的に棄却→ Aでない解釈する→ ¬Aであると解釈する

• 運動部Xの赤血球の量の平均値は100である• （備考：sd＝10の正規分布に従うとする）• 運動部Xの赤血球の量が平均値は100ではない• サンプル数10名の平均値が10ユニット以上仮説値から乖離する確率は0.0016である。• 0.0016で起こりうることは「稀である」

• → 仮説「平均値は100である」とは統計的に言えない

• → 運動部Xの赤血球の量の平均値は100であるとは言えない（100でない）

統計的検定の用語•帰無仮説：「差が無い」という仮説。• 研究仮説の逆の仮説• 棄却されることに「意義」がある

•有意水準 (α)：誤差の許容範囲 (間違って帰無仮説を棄却する確率)•Power (1-β): P(reject Ho|Halt is True)= P(reject Ho|Ho is false)

DecisionReject Fail to reject

Ho

TrueFalse alarm（偽陽性）

Type I errorα

Correct Acceptance（正しい承認）

False Correct rejection（正しい棄却）

Miss（偽陰性）Type II error

β-2 0 2 4 6

0.0

0.2

0.4

Two Types of Errors

z-value

Density

証明と検定• 「ある」ことについての証明• 差があれば「ある」ことの証明になり得る• しかし、その差に意味はあるのか？また、誤差の範疇でないのか？• 実験群の平均＝10.1と統制群の平均＝10.2の違いは意味がある？

• どの程度差があれば「差がある」と言えるのか？

• 母平均（パラメター）に差があると差があるとは言えるだろう。

• しかし、確率変数である限りデータには分散があり、母平均が同じであって統計量は異なることも起きうる。

• 「ない」ことについての証明• 「ない」ことは証明できるのか？• STAP細胞はないと「証明」できたのか？

• 母平均（パラメター）に同じであると差がないとは言えるだろう。

• しかし、確率変数である限りデータに分散があり、母平均が異なっていても統計量が同じになることも起きうる。

• ならば、母平均が同じと仮定して、データを収集し、そのデータが得られるであろう確率が十分に低くければその仮定が適切でなかったと解釈しよう。

例題0６.1B商品Aと商品Bが同じ割合で選択されると仮定した場合、９人中７人以上が一方の商品を選択する確率を計算してください。> sum(dbinom(c(0:2,7:9),9,0.5))

[1] 0.1796875

商品Aと商品Bが同じ割合で選択されると仮定した場合、９人中７人以上が一方の商品を選択する確率は0.180である。

A�������

B�������

両側検定と片側検定

-3 -2 -1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

comparison of One- & Two-sided Test

z-value

Density

青：両側検定時の帰無仮説の棄却領域赤：片側検定時の帰無仮説の棄却領域

例題0６.1B> sum(dbinom(c(0:2,7:9),9,0.5))

[1] 0.1796875

仮説の妥当性：前提：仮説の一方の商品が選ばれる確率は0.5（母数はp＝0.5)として得られたデータが極端に稀な（1/20でしか発生しない）場合、仮説が妥当でないと結論づける。結果：商品Aと商品Bが同じ割合で選択されると仮定した場合、９人中７人以上が一方の商品を選択する確率は0.180であった。つまり、仮説の一方の商品が選ばれる確率は0.5とした場合、今回得られたデータより極端な値をとる確率は0.180であるので、仮説は妥当であると解釈した。

例題0６.3再び血液100cc中の赤血球の量の平均値が150ユニットで標準偏差が15とします。また、その分布は正規分布に従うと仮定します。運動部Xの10名の赤血球の量を計測したら、165ユニットでした。­A) 平均値が165ユニット以上となる確率を求めてください。­B）仮定の統計的適切性の考察

仮説検定の基本的手順1. 帰無仮説(null hypothesis)を立てる。(Ho)

­ 「同じである」 「差は無い」といった仮説2. 対立仮説(alternative hypothesis)を立てる。 (HA)

­ 「違う」 「差はある」といった仮説3. 有意水準を決める （e.g. alpha level)4. 統計的分析を行い帰無仮説が間違って棄却される確率を求める5. 帰無仮説を妥当性し結論を述べる。

�������� ������� ���� �����������

あるグループの平均値の珍しさ４月生まれの５０人にIQテストを実地→平均値が１０３そのIQテストの点数は正規分布に従う­平均＝１００、標準偏差＝１５その５０人の平均値は母平均と異なっているか？­母集団で観測される確率が5％以下か？

-3 -2 -1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

'expected' observation

z-valueDensity

例：統計検定-母分散が既知の場合

例：４月生まれの５０人にIQテストを実地し、その平均値が１０３であった。そのIQテストの点数は正規分布に従い、平均は１００、標準偏差が１５のとする場合、その５０人は生徒の平均値は他のIQテストの試験者と同じ知能レベルであるか？

１）帰無仮説(null hypothesis)を立てる。(Ho)２）対立仮説(alternative hypothesis)を立てる。 (HA)３）有意水準を決める （e.g. alpha level)4）統計解析を行う。5）解析結果をもとに帰無仮説を妥当性を判断し結論を述べる。

例：統計検定-母分散が既知の場合1）帰無仮説(null hypothesis)を立てる !": $%&'()* = $",*-&))2）対立仮説(alternative hypothesis)を立てる。 !.: $%&'()* ≠ $",*-&))3）有意水準を決める （e.g. alpha level) α = 0.05

4）統計解析を行う. 4 =5678

9:; <

= =>?7=>>

9@A;AB

= ?C.=C=

= 1.414

F |4"H%| ≥ 1.414 = 0.1575）帰無仮説を妥当性を判断する。­帰無仮説を採択­結論：この５０人は生徒の平均値は他のIQテストの試験者と同等である

あるグループの平均値の珍しさX月生まれの150人にIQテストを実地→平均値が１０３そのIQテストの点数は正規分布に従う­平均＝１００、標準偏差＝１５その1５０人の平均値は母平均と異なっているか？­母集団で観測される確率が5％以下か？

-3 -2 -1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

'unexpected' observation

z-value

Density

実習例題0６.1A改AとBの中からBを選んだ人は27人中19人でした。 AとBの選択率は等しい？

実習http://www.matsuka.info/data_folder/datWA01.txt

例１：日本人男性の身長の（母集団の）平均は171、（母集団の）標準偏差が１0とする。datWA01にある34名の男性の平均身長は母平均と異なっているか？

例2：日本人女性の身長の（母集団の）平均は158、（母集団の）標準偏差が5とする。データにある36名の女性の平均身長は母平均と異なっているか？

Z 検定 例例１：日本人男性の身長の（母集団の）平均は171、（母集団の）標準偏差が１0とする。datWA01にある34名の男性の平均身長は母平均と異なっているか？

1）帰無仮説(null hypothesis)を立てる­ !": $%&'()* = $,-(".,*%/% = 171

2）対立仮説(alternative hypothesis)を立てる。­ !2: $%&'()* ≠ $,-(".,*%/%3）有意水準を決める （e.g. alpha level) ­ α = 0.05

Z 検定4）統計解析!"#$ =

&'()*+, -= ./0.2.(./.

*34, 56= −0.286

< ="#$ > 0.286 = 0.7745）帰無仮説を採択

結論： 34名の男性の平均身長は母平均の171cmと異ならない。

# RCMDdat<-read.csv("http://www.matsuka.info/data_folder/datWA01.txt")mean.M <-mean(dat$h[dat$gender=="M"])sigma = 10n.M = length(dat$h[dat$gender=="M"])z.value=(mean.M-171)/(sqrt(sigma^2/n.M))> (1-pnorm(abs(z.value)))*2[1] 0.7745698 # *2 ��������

Z検定の問題点 → T検定母数を知りえることは稀データにある女性と男性の身長には統計的に意味のある差はあるか？→ t検定t検定:z検定とほぼ同じ­ Z検定：母分散が既知；­ t検定：母分散が不明→統計量で代用­ 母平均：特定の値と仮定（帰無仮説）

t検定：­ある集団の平均が特定の値であるか検定（one-sample t-test)­２つの集団の平均に「意味」のある差があるか検定 (two-sample t-test)

Z検定とT検定（ONE SAMPLE)

母分散は既知

Z検定

T検定(one sample)

��

���

平均値が特定の値と同等？

�����

T分布と標準正規分布

!" = $%&'

! ($ =($%&)*+ ,

- ($ =($%&).+ ,

-3 -2 -1 0 1 2 3

0.0

0.1

0.2

0.3

0.4

x

dt(

x, df =

10)

df=10

df=1

df=INF (t=z)

T分布と標準正規分布! "# =

"#%&

'() *; , "# =

"#%&'-) *

母集団 サンプル

自由度について（復習）!"# =%

&'(

) *& − ,- #

. − 1

. − 1 !"# =%&'(

)*& − ,- # =%

&'(

)*& + 1 − 1 − ,- # =%

&'(

)*& + 1 − ,- − 1 #

=%&'(

)*& − 1 # +%

&'(

),- − 1 # − 2 ,- − 1 %

&'(

)*& − 1

=%&'(

)*& − 1 # + . ,- − 1 # − 2 ,- − 1 . ,- − 1

=%&'(

)*& − 1 # − . ,- − 1 #

. − 1 3 !"# =%&'(

)3 *& − 1 # − .3 ,- − 1 #

= .4"# − .4,5#

= .4"# − .4"#.

= . − 1 4"#3 !"# = 4"#

ONE-SAMPLE T-TEST1つのグループの平均値がある数値であるか否か検定する。例：千葉大学・文学部・行動科学科２年生からランダムに選出された以下の10名の学生の足のサイズの平均は、２４と同等か？[24,25,26,23.5,25,27,24,22,27.5,28]

1）帰無仮説(null hypothesis)を立てる­ !": $%&'()* = $,-(".,*%/% = 242）対立仮説(alternative hypothesis)を立てる。­ !2: $%&'()* ≠ $,-(".,*%/%3）有意水準を決める （e.g. alpha level) ­ α = 0.05

ONE-SAMPLE T-TEST4）統計解析を行う. !"#$ =

&'()*+, -= ./..(.1

*2.345, 67= 1.979

; !"#$ > 1.979 = 0.0795）帰無仮説を妥当性を判断する。­帰無仮説を採択

結論：ランダムに選出された以下の10名の学生の足のサイズの平均は、24と同等である。

# RCMDssize = c(24,25,26,23.5,25,27,24,22,27.5,28)ssize.mean = mean(ssize)ssize.var = var(ssize)N = 10t.value=(ssize.mean-24)/(sqrt(ssize.var/N))> t.value[1] 1.978739> (1-pt(abs(t.value),df=9))*2[1] 0.07922026

# df��� (i.e., df = N - 1)# *2 �������

ONE-SAMPLE T-TEST> t.test(ssize, mu=24)

One Sample t-test

data: sst = 1.9787, df = 9, p-value = 0.07922alternative hypothesis: true mean is not equal to 24 95 percent confidence interval:23.82812 26.57188 sample estimates:mean of x

25.2 Confidence interval: ��� � ����

��� �

例題

例１：datWA01のデータにある男性の平均身長は171と統計学的に等しいか異なるか？

例2：データにある女性の平均身長は158と統計学的に等しいか異なるか？

ONE-SAMPLE T-TESTdatWA01のデータにある男性の平均身長は171と統計学的に等しいか異なるか？

1）帰無仮説(null hypothesis)を立てる­ !": $%&'()* = $,-(".,*%/% = 171

2）対立仮説(alternative hypothesis)を立てる。­ !2: $%&'()* ≠ $,-(".,*%/%3）有意水準を決める （e.g. alpha level) ­ α = 0.05

ONE-SAMPLE T-TEST4）統計解析を行う. !"#$ =

&'()*+, -= −0.3589

5 !"#$ > 0.3589 = 0.7265）帰無仮説を妥当性を判断する。­帰無仮説を採択

結論：34名の男性の平均身長は171cmと異ならない。

> t.test(dat$h[dat$gender=="M"],mu=171)

One Sample t-test

data: dat$h[dat$gender == "M"]t = -0.35389, df = 33, p-value = 0.7257alternative hypothesis: true mean is not equal to 17195 percent confidence interval:167.6851 173.3326

sample estimates:mean of x 170.5088

# RCMDh.mean.M <-mean(dat$h[dat$gender=="M"])h.var.M <- var(dat$h[dat$gender=="M"])n.M = length(dat$h[dat$gender=="M"])t.value=(h.mean.M-171)/(sqrt(h.var.M/n.M))> (1-pt(abs(t.value),df = (n.M-1)))*2[1] 0.7256692

Z-TEST ＆ T-TEST項目 Z検定 T検定 同・異データ ３４人の男性の身長 ３４人の男性の身長 同

帰無仮説（μの値） 171 171 同平均値とμの差 !" − $ !" − $ 同平均値の標準偏差(標準誤差） %&' ( = 1.715 %.' ( = 1.388

異

検定指標 1234 =!" − $

%&' (= −0.2864 9234 =

!" − $

%.' (= −0.3589 異

検定値 ;234 = 0.2864 9234 = 0.3589 異P値 < ;234 > 0.2864 = 0.775 < 9234 > 0.3589 = 0.726 異