Kirk' Experimental Design, Chapter 4

2013-3-19

實驗設計“多重比較” 的使用原則

13年3月19⽇日星期⼆二

Previously in Experimental Design

✤ 前一堂課以CR-p為例，解釋變異數分析的方法和原則✤ fixed-effects model (model I):

✤ 根據組別的平均數進行假設

✤ 根據組別的效果進行假設


multiple comparison 多重比較

✤ fixed-effects model (model I):

✤ 根據組別的平均數進行假設

✤ 根據組別的效果進行假設

✤ 當F分數大於臨界值，即代表treatment之間的平均數有顯著差異。

✤ 研究者需要做進一步的分析，探討實驗效果來自哪幾組平均數？

✤ e.g., 三個treatments的CR-3設計，效果可能來自：

✤ 三組平均值彼此不一樣

✤ 某兩組平均值和另一個平均值不一樣


multiple comparison 多重比較

✤ 多重比較的統計方法大約有30多種。要從中選擇適當的方法得先瞭解幾個原則：

✤ 正交/ 非正交比較 (orthogonal/ nonorthogonal contrasts)

✤ 事前/事後比較 (planned comparisons/ post hoc tests)

✤ 第一類型錯誤的風險

✤ 實際操作多重比較的時候，還要考慮 “變異數同質性” 原則，以及各個treatment之間的樣本數是否一樣多。


contrast, comparison 比較

✤ 所謂的 “比較” 是指：

✤ 將一組平均值搭配 “加權值” (coefficients) 之後，以線性的方式組合在一起。為了達到 “比較” 的目的，加權值有兩個特性：

✤ 1) 至少一個加權值不為零

✤ 2) 加權值的總和為零


配對/ 非配對比較

✤ treatment 數量在 3以上的時候，如果比較的加權值其中兩個不為零，其他的為零的時候就稱為配對比較。假設組別數量為p，配對比較的數量有 p(p–1)/2。

✤ 有時候研究上的興趣會設計非配對比較，配對比較可以依照需求而有無限多種可能。


正交比較 orthogonal contrasts

✤ 將兩組比較的加權值的每個對應項目相成，然後將乘積加總之後，取得的總和為零的時候代表這兩組為 “正交比較”，兩者所代表的訊息互相獨立。

✤ 正交比較可以組合出其他可能的比較

✤ 假設組別數量為p，正交比較的數量有 (p–1)組。


事前/事後比較planned comparisons/ post hoc ✤ 多重比較在進行F考驗之前進行，稱為事前比較（planned / priori

comparisons）

✤ 獲得顯著的F值之後所進行的多重比較，稱為事後比較（posteriori comparisons / post hoc tests）。


多重比較之下的第一類型錯誤

✤ 假設每次統計檢定之下，發生第一類型錯誤的機率為 0.05

✤ 針對三個平均數執行三次配對比較，這時候第一類型錯誤的機率是多少？

✤ α = 0.05, 代表 “不發生第一類型錯誤” 的機率為 (1 – α)

✤ 比較的次數 (C) 有三個，累積的 “不發生第一類型錯誤” 的機率為

✤ (1 – α)• (1 – α)• (1 – α) = (1 – α)3

✤ 這時候，執行三次配對比較承擔的第一類型錯誤為

✤ 1 – (1 – α)3 = 0.14

✤ 假設每次統計檢定之下，發生第一類型錯誤的機率為 α。執行 C 次比較所承擔的第一類型錯誤機率為 1 – (1 – α)c


三種第一類型錯誤

✤ 比較錯誤率（per-contrast error rate）

✤ 將第一類型錯誤率設定於每一次的統計考驗，均有相同的犯第一類型錯誤的機率

✤ αPC

✤ 族系誤差率（familywise error rate）

✤ 將每一個被檢驗的效果的統計考驗的型I錯誤率維持一定，導出各次決策累積的第一類型錯誤率

✤ αFW

✤ 實驗誤差率（per-family/ experiment-wise error rate）

✤ 統計的決策，是以整個實驗的第一類型錯誤率維持一定的情況下，導出各次決策所犯的第一類型錯誤率

✤ αPF



✤ αPC = 0.05，5組比較

✤ [αPC = 0.05] ≤ [ αFW = 1 – (1 – .05)5 = .23 ] ≤ [ αPF = 5•.05 = .25]

✤ 如果將 αPC 設定為 0.01，同樣進行5組比較

✤ [αPC = 0.01] ≤ [ αFW = 1 – (1 – .01)5 = .049 ] ≤ [ αPF = 5•.01 = .05]



✤ 實驗與族系誤差率

✤ 為了維持整體的α水準為.05，必須降低各次考驗的α水準

✤ 一般會採用族系誤差率來設定多重比較的顯著性臨界值

✤ 如果採用正交比較就無需調整α水準

✤ 複因子設計的時候，假設有兩個因子 A, B, 變異數分析包含兩個主效果、一個交互作用。由於三組效果的比較屬於正交比較，因此ANOVA的統計考驗無需調整α水準。


多重比較的統計量

(Student’s t distribution)

(Studentized range distribution)

(F distribution)


多重比較的類型

依照檢定的程序來分類：

✤ 單一步驟 single-step procedure✤ 使用一個臨界值估計所有的對比

✤ 多重步驟 multiple-step procedure✤ two step: Fisher’s LSD methods✤ step-up✤ setup-down

✤ 多重步驟的 power 比較大，可以減少第二類型錯誤的機率

✤ 單一步驟的統計量可以估計信賴區間，多重步驟則無法提供線賴區間。

依照⽐比較的類型來分類：

✤ p – 1 a priori orthogonal contrasts

p – 1 個事前正交比較✤ p – 1 a priori nonorthogonal contrasts

with a control-group mean

p – 1 個事前非正交比較(有控制組)✤ C a priori nonorthogonal contrasts

C 個事前非正交比較✤ All pairwise contrasts among p means

p 個平均值的配對比較✤ All contrasts including nonpairwise

contrasts that from an inspection of the data appear interesting

....基本上就是包羅萬象的狀況


Recommended Procedures When Assumptions Are Tenable

Orthogonal Contrasts

Nonorthogonal Contrasts

A Priori Contrasts

Student’s t test (Tes7ng p-‐1 contrasts with a control-‐group mean)

Dunne@’s testA Priori Contrasts

(Tes7ng C contrasts)

Dunn-‐Sidak test

Holm’s test

A Posteriori Contrasts

(Tes7ng all pairwise contrasts)

Tukey’s test

Fisher-‐Hayter test

REGW F, FQ, Q tests


(Tes7ng all contrasts)

Scheffe’s test


Recommended Procedures When Assumptions Are NOT Tenable

Orthogonal Contrasts

Nonorthogonal Contrasts

A Priori Contrasts

Student’s t test with Welch df

(Tes7ng p-‐1 contrasts with a control-‐group mean)

Dunne@’s test with modifica7onA Priori Contrasts

(Tes7ng C contrasts)

Dunn-‐Sidak test with Welch df

Holm’s test with Welch df


(Tes7ng all pairwise contrasts)

Tukey -‐ Kramer test

Fisher-‐Hayter test

Dunne@’s T3 or C test

Games-‐Howell test


(Tes7ng all contrasts)

Brown-‐Forsythe test13年3月19⽇日星期⼆二

Fisher’s LSD procedure

✤ 一個CP5 的實驗設計，每一組treatment 有6個觀察值1

12 3 5 -1 12

5 6

2 7

17 13 11 7

17 12

3 8 1 7 4 3

7 5

5 24 13 14 18 14 19 17

4 21 10 15 12 20 6 14




12 3 5 -1 12

5 6

2 7

17 13 11 7

17 12

3 8 1 7 4 3

7 5

5 24 13 14 18 14 19 17

4 21 10 15 12 20 6 14

α = .05, F(4,25) = 2.76 (reject equal column MEANS)

Source SS df MS F treatment

Error

640.8 530

4 25

160.2 21.2

7.56

�MSerror�




12 3 5 -1 12

5 6

2 7

17 13 11 7

17 12

3 8 1 7 4 3

7 5

5 24 13 14 18 14 19 17

4 21 10 15 12 20 6 14



Error

640.8 530

4 25

160.2 21.2

7.56

�MSerror�

LSD = t1�α/2, df x √MSerror x √ 1 + 1 nj ni




12 3 5 -1 12

5 6

2 7

17 13 11 7

17 12

3 8 1 7 4 3

7 5

5 24 13 14 18 14 19 17

4 21 10 15 12 20 6 14



Error

640.8 530

4 25

160.2 21.2

7.56

�MSerror�


with α=.05 LDS = 2.060 (√21.2 x √ 1 + 1 )

= 5.48

6 6




12 3 5 -1 12

5 6

2 7

17 13 11 7

17 12

3 8 1 7 4 3

7 5

5 24 13 14 18 14 19 17

4 21 10 15 12 20 6 14



Error

640.8 530

4 25

160.2 21.2

7.56

�MSerror�


with α=.05 LDS = 2.060 (√21.2 x √ 1 + 1 )

= 5.48

6 6

將各組的平均值排序，然後觀察兩配對之間的大

小有無大於LSD臨界值




12 3 5 -1 12

5 6

2 7

17 13 11 7

17 12

3 8 1 7 4 3

7 5

5 24 13 14 18 14 19 17

4 21 10 15 12 20 6 14



Error

640.8 530

4 25

160.2 21.2

7.56

�MSerror�


with α=.05 LDS = 2.060 (√21.2 x √ 1 + 1 )

= 5.48

6 6



Group 3 1 2 4 5 5 6 12 14 17

Conclusion : 3, 1 2 4 5




12 3 5 -1 12

5 6

2 7

17 13 11 7

17 12

3 8 1 7 4 3

7 5

5 24 13 14 18 14 19 17

4 21 10 15 12 20 6 14



Error

640.8 530

4 25

160.2 21.2

7.56

�MSerror�


with α=.05 LDS = 2.060 (√21.2 x √ 1 + 1 )

= 5.48

6 6



Group 3 1 2 4 5 5 6 12 14 17

Conclusion : 3, 1 2 4 5

Hayter (1986): 組別數量大於三的時候不要使用LSD


p – 1 a priori orthogonal contrasts



��

��

��



✤ Student’s Multiple t Test

✤ e.g.: CP5 , n = 9 (N = 45), MSE = 29.0322

1. 估計MSE

2. 將平均值、加權值帶入下列公式，計算每一組比較的t 分數

3. 依照α, MSE的自由度查表取得臨界值。t分數的絕對值大於臨界值表示該組比較俱有顯著效果

tα/2, p(n-1)




✤ e.g.: CP5 , n = 9 (N = 45), MSE = 29.0322

t .05/2, 40 = 2.021




✤ 各組樣本的變異數不同質的時候，需要校正臨界值，一般建議Welch’s 方法，以 v’替換自由度：


p – 1 a priori nonorthogonal contrasts with a control-group

��

��

��






p – 1 a priori nonorthogonal contrasts with a control-group ✤ Dunnett’s procedure

✤ e.g.: CP5 , n = 9 (N = 45), MSE = 29.0322

依照α, 組別數量 (p), MSE的自由度查表取得tDNα/2, p, p(n-1)，然後帶入公式估計臨界值。差值大於臨界值即表示該組比較有顯著效果。


C a priori nonorthogonal contrasts

✤ Dunn’s test

✤ 又稱作 Bonferroni procedure

✤ 較嚴謹的控制第一類型錯誤，α值設定在實驗誤差率 (αPF)

✤ Dunn-‐Sidak test

✤ 程序類似 Dunn’s test， α值設定在族系誤差率 (αFW)

✤ power 比較大



✤ CP5 , n = 9 (N = 45), MSE = 29.0322



✤ CP5 , n = 9 (N = 45), MSE = 29.0322 ✤ Dunn’s test 的臨界值：

tDα/2, p, p(n-1) = tD .05/2, 4, 40 = 2.62

✤ Dunn-‐Sidak test 的臨界值：

tDSα/2, p, p(n-1) = tDS .05/2, 4, 40 = 2.608



✤ Holm’s test (step-down)

1. 使用和 Dunn一樣的方式計算 tH

2. 將tH的絕對值由大到小排序

3. tH最大的直採用tDSα/2, p, p(n-1) 為臨界值

4.接下來的臨界值的第二項參數逐次遞減


All pairwise contrasts among p means

✤ Tukey’s HSD Test

✤ CP5 , n = 9 (N = 45), MSE = 29.0322

✤ 使用 qT的公式估計各配對的差值、臨界值


Kirk' Experimental Design, Chapter 4

Data & Analytics

Transcript of Kirk' Experimental Design, Chapter 4