1

第 6 回　分散分析（第 7 章）Analysis of Variance

•回帰モデルにおける分散分析–回帰式の全体的な適合度（分散分析）

•平方和の分解 Decomposition of Sum of Squares

–全体の散らばり＝説明できた部分＋残差•対応のないデータと，対応のあるデータ

–個人（個体）による違いを考える

帰無仮説と対立仮説Null Hypothesis and Alternate Hypothesis

• A person has headache （ pain in head)

Before it, he drank a glass of bad wine.

• Alternate Hypothesis: what is susceptive;

The wine was the cause of the pain. (guilty)

• Null Hypothesis: Opposite to that hypothesis;

The wine was not the cause of the pain. (innocent)

2

棄却と採択Rejection of the Null Hypothesis

• When we permit the Null Hypothesis, the probability of the realized event is calculated.– Calculate the probability of headache when he did not drink

such a wine.

• If the probability is too small (smaller than your critical probability), you can reject the null-hypothesis and approve the alternate hypothesis.– The wine was the cause of the pain. (guilty)

• If the probability is not too small, you cannot say anything. (not actively approve the null hypothesis). – The wine was not the cause of the pain. (innocent)

3

連続変数と棄却域Critical Value for Continuous Variable

• If he had headache with certain large probability, when drinking no wine, we cannot reject the Null Hypothesis.

4

•We take a continuous variable such as headache duration, we can set the critical region, more easily, based on the usual probability density.

No-ache Ache Duration ofheadache

0.05Probability Density under the Null Hypothesis

60min

5

　 F 分布　（ F distribution)

• 確率密度関数

自由度 (f1,f2) の F 分布

F分布も χ2分布と関係がある。

X, Y が独立でそれぞれ自由度 f1, f2 の χ2 分布に従うとき、

は自由度 (f1, f2) の F 分布に従う。

したがって 2 つの標本群から計算した分散の比をとると、その統計量は F 分布に従う．

2

1/

/fY

fXZ

6

　 F 分布表　（ F distribution)

7

目的変数をどの程度 [ 記述 ] 出来たか？

ix

Y

X

yiy

)(ˆii XfY

残差 誤差･

iii yy ˆ

残差平方和Error Sum of Squared

　　　　　　　　

22 )ˆ( i

iii

iE yyS

Y

y

Xi による説明式がない場合yi の推計値として、平均値 y を使うしかない

平均値周りのバラツキ（全平方和）

Total Sum of Squares2)(

iiT yyS

なる説明式がある場合回帰（ Xi で説明できた　 y 　からのずれ）

yyi ˆ

回帰平方和Regressed Sum of Squared

　　　　　　　　

2)ˆ( i

iR yyS

決定係数

説明できた平方和の割合

T

E

T

R

S

S

S

SR 12

8

平方和（散らばり）の分解Decomposition of Sum of Squared

全体の散らばり（ Total) を分解　説明できた散らばり（ Regressed)　　　＋残りの散らばり（ Error)

それぞれを平方和（ Sum of Squared) で評価　 ST=SR+SE

帰無仮説： SR と SE は統計的に同程度のものそのときには、 Fo ＝ VR/VE は F 分布 ( 自由度 fR, fE) に従

う　　　　　　　ただし VR=SR/fR ， VE=SE/fE

9

回帰による記述（説明）力の検定

– 回帰平方和が統計的に大きな意味を持っているか？

– 分散分析表を作り、 F 検定を行って判断する。

• 帰無仮説：回帰平方和は誤差平方和と同程度の大きさ　（回帰式は、誤差に比べて大きな説明力はない）• 対立仮説：回帰平方和は誤差平方和より大きい　（回帰式によって誤差よりもかなり大きい部分が説明

できた）

10

回帰による記述（説明）力の検定例

• 帰無仮説：回帰平方和は誤差平方和と同程度の大きさ　（回帰式は、誤差に比べて大きな説明力はない）→棄

却• 対立仮説：回帰平方和は誤差平方和より大きい　（回帰式により、誤差よりもかなり大きい部分が説明

できた）Multiple R-squared: 0.9511, Adjusted R-squared: 0.9348 F-statistic: 58.37 on 2 and 6 DF, p-value: 0.0001168

11

7.1 一元配置法 ( 対応なし )ｐ .159

• 指導法ごとに，テストの点数が異なるか ?

A B C D

15

9

18

14

18

13

8

8

12

7

10

6

11

7

12

10

7

3

5

7

12

変動の分解A B C D

15

9

18

14

18

13

8

8

12

7

10

6

11

7

12

10

7

3

5

7

＝

A B C D

10

10

10

10

10

10

10

10

10

10

10

10

10

10

10

10

10

10

10

10

＋

A B C D

+5

-1

+8

+4

+8

+3

-2

-2

+2

-3

0

-4

+1

-3

+2

0

-3

-7

-5

-3

全体変動観測値 全体平均

A B C D

+5

-1

+8

+4

+8

+3

-2

-2

+2

-3

0

-4

+1

-3

+2

0

-3

-7

-5

-3

全体変動

＝

A B C D

4.8

4.8

4.8

4.8

4.8

-0.4

-0.4

-0.4

-0.4

-0.4

-0.8

-0.8

-0.8

-0.8

-0.8

-3.6

-3.6

-3.6

-3.6

-3.6

＋

A B C D

0.2

-5.8

3.2

-0.8

3.2

3.4

-1.6

-1.6

2.4

-2.6

0.8

-3.2

1.8

-2.2

2.8

3.6

0.6

-3.4

-1.4

-0.6

群内変動 ( 残差 )群間平均

13

平方和の評価A B C D

+5

-1

+8

+4

+8

+3

-2

-2

+2

-3

0

-4

+1

-3

+2

0

-3

-7

-5

-3

全体変動

＝

A B C D

4.8

4.8

4.8

4.8

4.8

-0.4

-0.4

-0.4

-0.4

-0.4

-0.8

-0.8

-0.8

-0.8

-0.8

-3.6

-3.6

-3.6

-3.6

-3.6

＋

A B C D

0.2

-5.8

3.2

-0.8

3.2

3.4

-1.6

-1.6

2.4

-2.6

0.8

-3.2

1.8

-2.2

2.8

3.6

0.6

-3.4

-1.4

-0.6

群内変動 ( 残差 )群間平均

平方和　 322 平方和　 184 平方和　 138

自由度 19 ＝ 20-1 自由度 3 ＝ 4-1 自由度 16=4(5-1)

分散 16.94 ＝ 322/19 分散 61.3-184/3 分散 8.6=138/16

F=61.33/8.625=7.11

14

　 F 分布表　（ F distribution)

7.111 ＞ F(0.05:3,16) ＝ 3.24

3.24 7.11

Under the null-hypothesis,The Ratio of Variance goes beyond the observed value (7.111) with Probability smaller than 0.05.

You can reject the null-hypothesis:The inter-group variation is statistically different from the inner-group.

R による計算　 aov()> 統計テスト 2 [1] 15 9 18 14 18 13 8 8 12 7 10 6 11 7 12 10 7 3 5 7> 指導法 2 [1] A A A A A B B B B B C C C C C D D D D DLevels: A B C D> oneway.test( 統計テスト 2~ 指導法 2,var.equal=TRUE)

One-way analysis of means

data: 統計テスト 2 and 指導法 2 F = 7.1111, num df = 3, denom df = 16, p-value = 0.002988

> summary(aov( 統計テスト 2~ 指導法 2)) Df Sum Sq Mean Sq F value Pr(>F) 指導法 2 3 184.000 61.333 7.1111 0.002988 **Residuals 16 138.000 8.625 ---Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 >

16

7.2 一元配置法 ( 対応あり )ｐ .175

• 3 科目に対する好意度の評価学生 線形代数 微分積分 確率統計

田中岸

大引吉川荻野

7

8

9

5

6

5

4

7

1

3

8

6

7

2

5

17

変動の分解線 微 確

田岸大吉荻

7

8

9

5

6

5

4

7

1

3

8

6

7

2

5

＝

線 微 確

田岸大吉荻

5.53

5.53

5.53

5.53

5.53

5.53

5.53

5.53

5.53

5.53

5.53

5.53

5.53

5.53

5.53

＋

線 微 確

田岸大吉荻

1.46

2.46

3.46

-0.53

0.46

-0.53

-1.53

1.46

-4.53

-2.53

2.46

0.46

1.46

-3.53

-0.53

全体変動観測値 全体平均

線 微 確

田岸大吉荻

1.13

0.46

2.13

-2.86

-0.86

1.13

0.46

2.13

-2.86

-0.86

1.13

0.46

2.13

-2.86

-0.86

全体変動

＝

線 微 確

田岸大吉荻

1.46

1.46

1.46

1.46

1.46

-1.53

-1.53

-1.53

-1.53

-1.53

0.06

0.06

0.06

0.06

0.06

＋

( 残差 )条件 ( 科目間 ) 個人差 ( 個人間 )

線 微 確

田岸大吉荻

-1.13

0.53

-0.13

0.86

-0.13

-0.13

-0.46

0.86

-0.13

-0.13

1.26

-0.06

-0.73

-0.73

-0.26

＋

18

平方和の評価

平方和　 73.73平方和　 22.53 平方和　 6.133

自由度14 ＝ 15-1 自由度 2 ＝ 3-1 自由度 8=4(3-1)

分散 11.267 分散　 0.767

線 微 確

田岸大吉荻

1.13

0.46

2.13

-2.86

-0.86

1.13

0.46

2.13

-2.86

-0.86

1.13

0.46

2.13

-2.86

-0.86

全体変動

＝

線 微 確

田岸大吉荻

1.46

1.46

1.46

1.46

1.46

-1.53

-1.53

-1.53

-1.53

-1.53

0.06

0.06

0.06

0.06

0.06

＋

( 残差 )条件 ( 科目間 ) 個人差 ( 個人間 )

線 微 確

田岸大吉荻

-1.13

0.53

-0.13

0.86

-0.13

-0.13

-0.46

0.86

-0.13

-0.13

1.26

-0.06

-0.73

-0.73

-0.26

＋

平方和　 45.06

自由度 4 ＝ 5-1

分散 11.267

Fo=11.267/0.767=14.69>F(2,8,0.05)=4.64

Fo=11.267/0.767=14.69>F(4,8,0.05)=3.84

R による計算　 aov()> 好意度 [1] 7 8 9 5 6 5 4 7 1 3 8 6 7 2 5> 科目 [1] 線形代数 線形代数 線形代数 線形代数 線形代数 微分積分 微分積分 微分積分 微分積分 [10] 微分積分 確率統計 確率統計 確率統計 確率統計 確率統計Levels: 確率統計 線形代数 微分積分> 人 [1] 田中 岸 大引 吉川 荻野 田中 岸 大引 吉川 荻野 田中 岸 大引 吉川 荻野Levels: 荻野 岸 吉川 大引 田中> summary(aov( 好意度 ~ 科目 )) Df Sum Sq Mean Sq F value Pr(>F)科目 2 22.533 11.267 2.6406 0.1121Residuals 12 51.200 4.267

R による計算　 aov()> summary(aov( 好意度 ~ 人 )) Df Sum Sq Mean Sq F value Pr(>F) 人 4 45.067 11.267 3.9302 0.03603 *Residuals 10 28.667 2.867 ---Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

> summary(aov( 好意度 ~ 科目 + 人 ) ) Df Sum Sq Mean Sq F value Pr(>F) 科目 2 22.533 11.267 14.696 0.002095 ** 人 4 45.067 11.267 14.696 0.000931 ***Residuals 8 6.133 0.767 ---Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1