伝わりやすい統計結果の記載に向けて
記述統計と推測統計 そして効果量と検定力
千葉大学教育学部英語科統計勉強会2013年9月18日・20日 於 千葉大学教育学部
Saturday, October 26, 13
これ読んでどう思います?「交際相手いない若者、男性6割・女性5割」2013年版の厚生労働白書案が26日、明らかになった。白書案は「若者の意識を探る」というサブタイトルで、結婚や出産・子育て、仕事に関する若者の意識などを分析した。 結婚については、国立社会保障・人口問題研究所の調査(2010年)などで、〈1〉18~39歳の未婚者の9割弱が結婚願望を抱いている〈2〉異性の交際相手も友人もいない割合は男性で約6割、女性で約5割に上っている――との結果になったことなどを踏まえ、白書案で「結婚相手の候補となりうる交際相手がいる若者は限定的」と指摘した。Yomiuri Online 8月26日記事 http://www.yomiuri.co.jp/national/news/20130826-OYT1T00614.htm
Saturday, October 26, 13
これ読んでどう思います?
5割ずつが付き合っても男性は1割余る?
Saturday, October 26, 13
これ読んでどう思います?
5割の人たち
1割の男性
Saturday, October 26, 13
でも実は…割合≠数
2010年の20歳から39歳(若者)の人口は…
男性 女性20~24 3,543,000 3,359,000
25~29 3,829,000 3,667,000
合計 7,372,000 7,026,000
Saturday, October 26, 13
でも実は…
男性の6割=4,423,000
女性の5割=3,513,000
↓差は910,000人の男性男性の1割2分3厘
Saturday, October 26, 13
でも実は…
1割2分3厘の男性
Saturday, October 26, 13
つまり…
必要な情報を記載しましょう
Saturday, October 26, 13
つまり…
正しく伝えるために情報を記載する必要性
Saturday, October 26, 13
今回のめあて
「何」を「どう」記載すれば良いのか学ぼう
Saturday, October 26, 13
今回のめあて「何」を「どう」記載すれば良いのか学ぼう
記述統計
推測統計(t検定, χ2検定, 相関分析)
効果量
検定力
Saturday, October 26, 13
Saturday, October 26, 13
そ の ま え に
Saturday, October 26, 13
1. 統計を使う研究法とは
・「仮説検証型」の研究
・検証した結果の一般化が可能
・検証のためのツール=統計
検証される仮説って?
→Task 1へSaturday, October 26, 13
1.1 仮説と実験デザイン
仮説=研究目的/Research Question
(できれば)仮説はYes/Noで答えられるもの
Saturday, October 26, 13
1.2 一般化が可能とは
母集団標本
標本抽出
推測→Task 2へ
Saturday, October 26, 13
1.2 一般化が可能とは
母集団
偏った標本に対して推測統計を用いる場合は、標本から母集団をどこまで広げて解釈とするか、しっかりと考える必要があるでしょう(竹内・水本, 2012, p. 47)
Saturday, October 26, 13
1.2 一般化が可能とは
母集団の解釈のために被検者の記述はしっかり
・TOEICのスコアの報告だけで十分?・附属中生は中学生全体の標本となるか?
Saturday, October 26, 13
1.3 結果の記述
→Task 3へ
Saturday, October 26, 13
1.3 結果の記述
今回はここの記述の仕方を学びます
そのために統計がどういうものか学びます
Saturday, October 26, 13
1.4 量的研究の流れ
・大きな研究テーマの決定
・先行研究の洗い出し。具体的なテーマの決定
・データ収集
・データ分析
・解釈
Saturday, October 26, 13
1.4 量的研究の流れ・データ収集
・データ分析
被験者の決定、実験デザインの決定
テスト作成、実験の実施、テストの実施など
統計を使う(記述統計と推測統計)
Saturday, October 26, 13
1.4 量的研究の流れ
分析方法を考えず適当にデータを集めると…
Garbage in, Garbage out
Saturday, October 26, 13
今回のめあて
結果の記述の仕方を学びます
統計がどういうものか学びます
使う統計を踏まえて実験デザインを考える
Saturday, October 26, 13
今回のめあて
記述統計
推測統計(t検定, χ2検定, 相関分析)
効果量
検定力
Saturday, October 26, 13
記述統計
その前に「尺度」について…
Saturday, October 26, 13
2. 記述統計(1)
尺度水準・・・現象をデータとして集めるための基準
比(率)尺度間隔尺度順序尺度名義尺度
Saturday, October 26, 13
2. 記述統計(1)名義尺度
性別 1.男性 2.女性
好きな教科 1.英語 2.国語 3.数学…
四則演算不可
数字を入れ替えても大丈夫
Saturday, October 26, 13
2. 記述統計(1)順序尺度
学年 1.1年生 2.2年生 3.3年生
テストの順位
四則演算不可
大小の比較はできる
数字の間隔は等間隔ではないSaturday, October 26, 13
2. 記述統計(1)間隔尺度
テストの得点
加算、除算のみ可
数字の間隔は一定
「ゼロ」は無を意味しないSaturday, October 26, 13
2. 記述統計(1)比尺度
語数
時間
四則演算可
数字の間隔が等間隔
「ゼロ」が無を意味するSaturday, October 26, 13
2. 記述統計(1)
比尺度と間隔尺度は同じものとして扱う
Saturday, October 26, 13
2. 記述統計(1)
ここで問題です!
Saturday, October 26, 13
2. 記述統計(1)ここで問題です!
Sonobe, Ueda & Yamane (2009)の10段階評価は
何尺度でしょう?
Saturday, October 26, 13
2. 記述統計(1)Sonobe, Ueda & Yamane (2009)の10段階評価は
何尺度でしょう?
自粛
Saturday, October 26, 13
2. 記述統計(1)Sonobe, Ueda & Yamane (2009)の10段階評価は
何尺度でしょう?
Likert scaleは本来順序尺度だが、
間隔尺度と「みなして」統計処理を行う
Saturday, October 26, 13
2. 記述統計(1)
尺度は統計的検定の選択に大きく影響するので
正しく理解する必要があります
Saturday, October 26, 13
3. 記述統計(2)
「このデータの特徴は◯◯ですよ」と記述する統計
→Task 4へSaturday, October 26, 13
3. 記述統計(2)
クラス1 クラス2 クラス3 合計男性の人数 18 17 13 48
女性の人数 12 14 18 44
合計 30 31 31 92
被験者数=サンプルサイズ
Saturday, October 26, 13
3. 記述統計(2)
クラス1 クラス2 クラス3平均 366.17 402.58 509.03
中央値 367.5 405 510
最頻値 365 300 605
分散 4297.73 9969.78 9497.37
標準偏差 65.56 99.85 97.45
Saturday, October 26, 13
3. 記述統計(2)
データの中心を表す
平均値、中央値、最頻値
Saturday, October 26, 13
3. 記述統計(2)
Saturday, October 26, 13
3. 記述統計(2)
データの平均値を中心としたばらつきを表す
分散=標準偏差2
Saturday, October 26, 13
3. 記述統計(2)
M=50
SD=5
0 20 40 60 80 100
0.00
0.02
0.04
0.06
0.08
0.10
Saturday, October 26, 13
3. 記述統計(2)
M=50
SD=10
0 20 40 60 80 100
0.00
0.02
0.04
0.06
0.08
0.10
Saturday, October 26, 13
3. 記述統計(2)
M=50
SD=15
0 20 40 60 80 100
0.00
0.02
0.04
0.06
0.08
0.10
Saturday, October 26, 13
3. 記述統計(2)
0 20 40 60 80 100
0.00
0.02
0.04
0.06
0.08
0.10
Saturday, October 26, 13
3. 記述統計(2)
記述統計のうち
少なくともMとSDは記載しましょう
Saturday, October 26, 13
3. 記述統計(2)
実験1英語のテストの平均点がA組60点、B組40点で5%水準で有意な差があった。
実験2英語のテストの平均点がA組60点、B組40点で有意な差がなかった。
Saturday, October 26, 13
3. 記述統計(2)実験1
0 20 40 60 80 100
0.00
0.02
0.04
0.06
0.08
0.10
English Test
Score
A組M=60SD=5
B組M=40SD=5
Saturday, October 26, 13
3. 記述統計(2)実験1
0 20 40 60 80 100
0.00
0.02
0.04
0.06
0.08
0.10
English Test
Score
A組M=60SD=5
B組M=40SD=5
Saturday, October 26, 13
3. 記述統計(2)実験2
A組M=60SD=20
B組M=40SD=20
0 20 40 60 80 100
0.00
0.02
0.04
0.06
0.08
0.10
English Test
ScoreSaturday, October 26, 13
3. 記述統計(2)実験2
A組M=60SD=20
B組M=40SD=20
0 20 40 60 80 100
0.00
0.02
0.04
0.06
0.08
0.10
English Test
ScoreSaturday, October 26, 13
3. 記述統計(2)
数字だけではなく、
グラフを作成することも大切
→Task 5へSaturday, October 26, 13
3. 記述統計(2)1)
52%48%
Man Woman
Saturday, October 26, 13
3. 記述統計(2)2)
Histogram of TOEIC_total
TOEIC_total
Frequency
0 200 400 600 800
05
1015
2025
30
Saturday, October 26, 13
3. 記述統計(2)3)
Class1
Class2
Class3
0% 25% 50% 75% 100%low middle high
Saturday, October 26, 13
3. 記述統計(2)おまけ(箱ひげ図)0
200
400
600
800
Box Plot
Saturday, October 26, 13
3. 記述統計(2)おまけ(箱ひげ図)0
200
400
600
800
Box Plot
最大値
最小値
中央値3/4
1/4
Saturday, October 26, 13
3. 記述統計(2)おまけ(箱ひげ図)
Pre_TOEIC Post_TOEIC
200
300
400
500
600
700
800
Box Plot
Saturday, October 26, 13
3. 記述統計(2)
正しくグラフを作りましょう
Saturday, October 26, 13
3. 記述統計(2)
Saturday, October 26, 13
3. 記述統計(2)
Saturday, October 26, 13
3. 記述統計(2)
Saturday, October 26, 13
3. 記述統計(2)
Saturday, October 26, 13
3.2 正規分布M±2SDに約96%M±1SDに約68%
Saturday, October 26, 13
3.2 正規分布M±1.96SDの外側が合計5%
Saturday, October 26, 13
4.1妥当性
構成概念妥当性(ハンドアウト5ページ)
測定しようとしているものが、構成概念(直接は測定出来ないもの)に沿っているかどうか
例えば…「英語学習への動機づけ」を見るために「英語の先生が好きかどうか」を測定する
Saturday, October 26, 13
4.1妥当性
構成概念妥当性(ハンドアウト5ページ)
とりあえずアンケートしてみる
Saturday, October 26, 13
4.1妥当性
構成概念妥当性(ハンドアウト5ページ)
測定項目の妥当性を「事前に」確かめる
Saturday, October 26, 13
4.2信頼性
測定を何度やっても同じ人には同じ結果が得られるであろう精度
クロンバックのアルファ(Cronbach’s alpha)
Interrater reliability
例えばスピーキングの評価を2人で行った場合の信頼性
Saturday, October 26, 13
4. 妥当性と信頼性
妥当性は事前に
信頼性は事後に
それぞれ確認をする
Saturday, October 26, 13
今回のめあて
記述統計
推測統計(t検定, χ2検定, 相関分析)
効果量
検定力
Saturday, October 26, 13
今回のめあて
推測統計(t検定, χ2検定, 相関分析)
Saturday, October 26, 13
母集団標本
推測
Saturday, October 26, 13
母集団標本
推測
記述統計
Saturday, October 26, 13
母集団標本
推測
記述統計
推測統計
Saturday, October 26, 13
1. 統計を使う研究法とは
・「仮説検証型」の研究
・検証した結果の一般化が可能
・仮説の検証のためのツール=推測統計
おさらい
Saturday, October 26, 13
1. 統計を使う研究法とは
・「仮説検証型」の研究
・検証した結果の一般化が可能
・仮説の検証のためのツール=推測統計
おさらい
Saturday, October 26, 13
5.1 帰無仮説と対立仮説
帰無仮説(null hypothesis, H0)
対立仮説(alternative hypothesis, H1)
Saturday, October 26, 13
5.1 帰無仮説と対立仮説
帰無仮説(null hypothesis, H0)
対立仮説(alternative hypothesis, H1)
男女で英語のテストの平均点に差はない
男女で英語のテストの平均点に差がある
Saturday, October 26, 13
5.1 帰無仮説と対立仮説
推測統計の考え方(ざっくり)
得られたデータの下で帰無仮説が正しい確率を求める。その確率がとても小さい(5%未満)ならば帰無仮説が正しいとは考えず(帰無仮説を棄却する)、対立仮説が正しいと考える(対立仮説を採択する)。
Saturday, October 26, 13
5.1 帰無仮説と対立仮説
推測統計の考え方(ざっくり)「差がない」という帰無仮説を棄却した場合、「差がある」のではなく、「差がないとはいえない」が正しい
帰無仮説が正しい確率=p値
5%=有意水準Saturday, October 26, 13
5.2 第1種&第2種の過誤
研究結果真の結果真の結果
研究結果差がない 差がある
有意差なし 正しい判断(1-α) 第2種の過誤(β)
有意差あり 第1種の過誤(α) 正しい判断(1-β)
Saturday, October 26, 13
5.2 第1種&第2種の過誤
第1種の過誤
本当は差がないのに、統計で差があるという結果になる
女の子はBoyのことを本当は好きじゃない数々のデータから「自分のこと好きなんだ」と結論を導き出してしまう勘違いBoy
Saturday, October 26, 13
5.2 第1種&第2種の過誤
第1種の過誤
本当は差がないのに、統計で差があるという結果になる
確率は5% (=α)
Saturday, October 26, 13
5.2 第1種&第2種の過誤
第2種の過誤
本当は差があるのに、統計で差がないという結果になる
女の子はBoyのことを本当に好き数々のデータから「自分のこと好きじゃない」と結論を導き出してしまうドン臭いBoy
Saturday, October 26, 13
5.2 第1種&第2種の過誤
第2種の過誤
本当は差があるのに、統計で差がないという結果になる
確率は20% (=β)
Saturday, October 26, 13
推測統計(t検定, χ2検定, 相関分析)
「差があるかどうか」を見る検定
「関係があるかどうか」を見る検定
Saturday, October 26, 13
6.1差の検定対応のないt検定
対応のあるt検定
繰り返しのない一元配置分散分析(ANOVA)
繰り返しのある一元配置分散分析(ANOVA)
χ2検定
Saturday, October 26, 13
6.1.1 t検定対応のないt検定
対応のあるt検定
2つのグループの平均値の差を見る検定
Saturday, October 26, 13
例えば、1学期期末テストの平均点がA組68
点、B組78点でした。この10点の差は統計的に差があると言えるのか。
6.1.1 t検定
Saturday, October 26, 13
差があれば…
差がなければ…
0 20 40 60 80 100
0.00
0.01
0.02
0.03
0.04
English test A-B
Test score
6.1.1 t検定
Saturday, October 26, 13
正規性が確保されているか(母集団が正規分布かどうか)
間隔尺度以上か2グループのサンプルサイズに偏りがないか2グループの分散が等しいか(等分散か)
6.1.1 t検定
Saturday, October 26, 13
対応のないt検定
対応のあるt検定
対応のない=異なる2グループが 1つのテストを受けた場合対応のある=同じ1グループが 1つのテストを2回受けた場合
6.1.1 t検定
Saturday, October 26, 13
「対応のない」の例
A組
B組授業
言語能力テスト
6.1.1 t検定
Saturday, October 26, 13
「対応のある」の例(pre-postデザイン)
A組 授業Pretest言語能力テスト
Posttest言語能力テスト
6.1.1 t検定
Saturday, October 26, 13
2つを組み合わせたデザイン
A組
B組
授業Pretest言語能力テスト
Posttest言語能力テスト
6.1.1 t検定
Saturday, October 26, 13
2つを組み合わせたデザイン
A組
B組
授業Pretest言語能力テスト
Posttest言語能力テスト
これはt検定では分析できない
6.1.1 t検定
Saturday, October 26, 13
6.1.1 t検定
→Task 7へ
→Task 6へ
Saturday, October 26, 13
6.1.1 t検定Task6
H0:男女の間でTOEICのスコアに差はないH1:男女の間でTOEICのスコアに差がある結果:男女の間でTOEICのスコアに差があるかどうか対応のないt検定を用いて分析した結果、男女の間でTOEICのスコアに有意な差はないことが明らかとなった (t(90)=.53, p=.60)
Saturday, October 26, 13
6.1.1 t検定Task7
H0:実験の前後でTOEICのスコアに差がないH1:実験の前後でTOEICのスコアに差がある結果:実験の前後でTOEICのスコアに差があるかどうか対応のあるt検定を用いて分析した結果、実験の前後でTOEICのスコアに有意な差があることが明らかとなった (t(91)=-2.61, p=.01)
Saturday, October 26, 13
6.1差の検定対応のないt検定
対応のあるt検定
繰り返しのない一元配置分散分析(ANOVA)
繰り返しのある一元配置分散分析(ANOVA)
χ2検定
Saturday, October 26, 13
6.1.2 一元配置分散分析繰り返しのない一元配置分散分析(ANOVA)
繰り返しのある一元配置分散分析(ANOVA)
3つ以上のグループの平均値の差を見る検定
Saturday, October 26, 13
6.1.2 一元配置分散分析
例えば、1学期期末テストの平均点がA組68
点、B組78点、C組45点。この3つのグループの差は統計的に差があると言えるのか。
Saturday, October 26, 13
6.1.2 一元配置分散分析
0 20 40 60 80 100
0.00
0.01
0.02
0.03
0.04
English test A-B
Test scoreSaturday, October 26, 13
6.1.2 一元配置分散分析
正規性が確保されているか間隔尺度以上か3グループ以上のサンプルサイズに偏りがないか等分散であるか
Saturday, October 26, 13
6.1.2 一元配置分散分析繰り返しのない一元配置分散分析(ANOVA)
繰り返しのある一元配置分散分析(ANOVA)
繰り返しのない=異なる3グループ以上が 1つのテストを受けた場合
繰り返しのある=同じ1グループが 1つのテストを3回以上受けた場合
Saturday, October 26, 13
「繰り返しのない」の例
A組
B組
C組
授業言語能力テスト
6.1.2 一元配置分散分析
Saturday, October 26, 13
「繰り返しのある」の例
A組 授業test1 授業test2 test3
分散分析と多重比較について (ハンドアウトp.10)
6.1.2 一元配置分散分析
Saturday, October 26, 13
分散分析
A組 授業test1 授業test2 test3
6.1.2 一元配置分散分析
多重比較
Saturday, October 26, 13
6.1.2 一元配置分散分析
結局t検定を繰り返しているだけじゃないか!
ハンドアウトp. 9
Saturday, October 26, 13
第1種の過誤
本当は差がないのに、統計で差があるという結果になる
確率は5% (=α)
6.1.2 一元配置分散分析
Saturday, October 26, 13
Sonobe, Ueda, & Yamane (2009)は…
6.1.2 一元配置分散分析
実験群
統制群
指導Pretest Posttest
差があった差がなかった
Saturday, October 26, 13
6.1.2 一元配置分散分析
Saturday, October 26, 13
6.1.2 分散分析
繰り返しのない二元配置分散分析
繰り返しのある二元配置分散分析
2要因混合計画の分散分析
多元配置分散分析
Saturday, October 26, 13
6.1差の検定対応のないt検定
対応のあるt検定
繰り返しのない一元配置分散分析(ANOVA)
繰り返しのある一元配置分散分析(ANOVA)
χ2検定
Saturday, October 26, 13
χ2検定
6.1.3 χ2検定
適合度検定独立性の検定
Saturday, October 26, 13
χ2検定
6.1.3 χ2検定適合度検定
例えば...
生徒の最も好きな教科の選択に差があるのか
国語 数学 英語 理科 社会
55 30 13 74 58
被験者数 230Saturday, October 26, 13
χ2検定
6.1.3 χ2検定適合度検定
名義尺度のデータを扱う検定
国語 数学 英語 理科 社会
55 30 13 74 58
Saturday, October 26, 13
χ2検定
6.1.3 χ2検定適合度検定
データが名義尺度であるかデータが累積の頻度であるかデータが独立しているか が5以上であるか期待値
Saturday, October 26, 13
χ2検定
6.1.3 χ2検定適合度検定
期待値同じように選択されると仮定した場合の値つまり「差がない」と仮定した場合の値
国語 数学 英語 理科 社会実測値 55 30 13 74 58期待値 46 46 46 46 46被験者数 230
Saturday, October 26, 13
χ2検定
6.1.3 χ2検定適合度検定
実測値と期待値がどれだけ離れているかを検定し、全体として差があるかどうか見る
Saturday, October 26, 13
χ2検定
6.1.3 χ2検定適合度検定
実測値と期待値がどれだけ離れているかを検定し、全体として差があるかどうか見る
どこが多くてどこが少ないのかは、多重比較を用いて分析(今回は扱わない)
Saturday, October 26, 13
χ2検定
6.1.3 χ2検定
適合度検定独立性の検定
Saturday, October 26, 13
χ2検定
6.1.3 χ2検定
例えば...
男女ごとで最も好きな教科の選択に違いがあるか
独立性の検定
国語 数学 英語 理科 社会男子 11 25 6 40 16女子 34 5 7 34 42
Saturday, October 26, 13
χ2検定
6.1.3 χ2検定独立性の検定
期待値実測値 国語 数学 英語 理科 社会 合計男子 11 25 6 40 16 98女子 44 5 7 34 42 132合計 55 30 13 74 58 230
期待値 x : 98 = 55 : 230
x = (55 × 98) ÷ 230Saturday, October 26, 13
χ2検定
6.1.3 χ2検定独立性の検定
期待値実測値 国語 数学 英語 理科 社会 合計男子 11 25 6 40 16 98女子 44 5 7 34 42 132合計 55 30 13 74 58 230
期待値 x : 98 = 55 : 230
x = (55 × 98) ÷ 230Saturday, October 26, 13
χ2検定
6.1.3 χ2検定独立性の検定
期待値男女に関係なく教科が選ばれた場合の値
つまり、性別と教科の選択に関係がないと仮定した場合の値
Saturday, October 26, 13
χ2検定
6.1.3 χ2検定独立性の検定
2つの変数(性別・好きな教科)は関係があるかどうかを見る検定
もし関係があれば、どこかが多くなり、どこかが少なくなるかも…
→残差分析を用いて分析Saturday, October 26, 13
6.1.3 χ2検定
→Task 9へ
→Task 8へ
Saturday, October 26, 13
Task8
H0:母語別の被験者数に差はないH1:母語別の被験者数に差がある結果:母語別の被験者数に差があるかどうかχ2検定を用いて分析した結果、被験者数に有意な差があった (χ2(2)=16.80, p=.00)
6.1.3 χ2検定
Saturday, October 26, 13
Task9
H0:性別と実験の効果の有無は独立であるH1:性別と実験の効果の有無は独立でない結果:性別と実験の効果の有無に関係があるかどうかχ2検定用いて分析した結果、性別と実験の効果の有無に有意な関係があることが明らかとなった (χ2(1)=5.53, p=.02)
6.1.3 χ2検定
Saturday, October 26, 13
6.1関係の検定
相関分析(ピアソン積率相関)
Saturday, October 26, 13
6.1関係の検定相関分析(ピアソン積率相関)例えば…
中学生の国語と英語のテストの間に相関関係があるかどうか
Saturday, October 26, 13
6.1関係の検定相関分析(ピアソン積率相関)間隔尺度以上(厳密には)正規性が確保されている
Saturday, October 26, 13
6.1関係の検定相関分析(ピアソン積率相関)ピアソン積率相関係数 r
r = ± .70~1.0 強い相関ありr = ± .40~.70 中程度の相関ありr = ± .20~.40 弱い相関ありr = ± .00~.20 相関なし
Saturday, October 26, 13
相関
r = .00
Saturday, October 26, 13
相関
r = .25
Saturday, October 26, 13
相関
r = .50
Saturday, October 26, 13
相関
r = .75
Saturday, October 26, 13
相関
r = .90
Saturday, October 26, 13
相関
r = 1.00
Saturday, October 26, 13
6.1関係の検定相関分析(ピアソン積率相関)しかし、「どういう相関関係か」と「統計的に有意な相関関係があるか」は別問題。
→帰無仮説・対立仮説(ハンドアウトp. 13)
Saturday, October 26, 13
6.1関係の検定相関分析(ピアソン積率相関)
相関関係を視覚的に見るために散布図を!
→Task 10へ
Saturday, October 26, 13
Task10
H0:国語と英語の得点の間に相関がないH1:国語と英語の得点の間に相関がある結果:国語の得点と英語の得点の間に相関関係があるかどうか相関分析を行った結果、2つの得点の間に強い正の相関関係があった(r=.72, p=.00)
6.1関係の検定
Saturday, October 26, 13
Task10
6.1関係の検定
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
20 30 40 50 60 70 80 90
4050
6070
8090
100
Scatter Plot
Japanese
English
Saturday, October 26, 13
Task10
6.1関係の検定
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
20 30 40 50 60 70 80 90
4050
6070
8090
100
Scatter Plot
Japanese
English
Saturday, October 26, 13
8 実践してみよう
→Task 11へ
→Task 12へ
Saturday, October 26, 13
Group M SD Diff p valueGroup 1 50.00 10.00
2.00 .374Group 2 52.00 10.00
2.00 .374
Group M SD Diff p valueGroup 1 50.00 10.00
2.00 .046Group 2 52.00 10.00
2.00 .046
9.1効果量
Saturday, October 26, 13
Group M SD Diff n p valueGroup 1 50.00 10.00
2.0020
.374Group 2 52.00 10.00
2.0020
.374
Group M SD Diff n p valueGroup 1 50.00 10.00
2.00200
.046Group 2 52.00 10.00
2.00200
.046
9.1効果量
Saturday, October 26, 13
サンプルサイズが大きいと、有意になりやすい
9.1効果量
Group M SD Diff n p valueGroup 1 50.00 10.00
2.00200
.046Group 2 52.00 10.00
2.00200
.046
Saturday, October 26, 13
サンプルサイズに左右されず、
実験の「効果」を見るにはどうすれば…
9.1効果量
Saturday, October 26, 13
52 79
59 55
61 61
76 89
45 51
68 71
63 63
69 41
43 41
51 83
36 93
51 47
39 37
71 52
26 41
70 57
38 64
58 76
48 43
28 90
54 58
58 38
38 38
42 43
47 58
78 60
68 48
40 45
50 24
68 36
Group A Group B
あるテストの結果
9.1効果量浦野研先生の日本第二言語習得学会2013年度夏季セミナー投影資料を加筆
http://www.urano-ken.com/blog/2013/08/19/j-sla2013-workshop/
Saturday, October 26, 13
平均点
Group A Group B
52.1 57.1
Group B の方が優秀?
<
9.1効果量浦野研先生の日本第二言語習得学会2013年度夏季セミナー投影資料を加筆
http://www.urano-ken.com/blog/2013/08/19/j-sla2013-workshop/
Saturday, October 26, 13
「差」ではなく「重なり」を見よう
0"
1"
2"
3"
4"
5"
6"
7"
8"
9"
0,10" 11,20" 21,30" 31,40" 41,50" 51,60" 61,70" 71,80" 81,90" 91,100"
Group"A"
Group"B"
9.1効果量浦野研先生の日本第二言語習得学会2013年度夏季セミナー投影資料を加筆
http://www.urano-ken.com/blog/2013/08/19/j-sla2013-workshop/
Saturday, October 26, 13
(吉田, 1998, p. 173)
9.1効果量浦野研先生の日本第二言語習得学会2013年度夏季セミナー投影資料を加筆
http://www.urano-ken.com/blog/2013/08/19/j-sla2013-workshop/
Saturday, October 26, 13
差は同じ(吉田, 1998, p. 173)
9.1効果量浦野研先生の日本第二言語習得学会2013年度夏季セミナー投影資料を加筆
http://www.urano-ken.com/blog/2013/08/19/j-sla2013-workshop/
Saturday, October 26, 13
重なりの量が違う
9.1効果量浦野研先生の日本第二言語習得学会2013年度夏季セミナー投影資料を加筆
http://www.urano-ken.com/blog/2013/08/19/j-sla2013-workshop/
Saturday, October 26, 13
0"
1"
2"
3"
4"
5"
6"
7"
8"
9"
0,10" 11,20" 21,30" 31,40" 41,50" 51,60" 61,70" 71,80" 81,90" 91,100"
Group"A"
Group"B"
この重なりは多いの?少ないの?
9.1効果量浦野研先生の日本第二言語習得学会2013年度夏季セミナー投影資料を加筆
http://www.urano-ken.com/blog/2013/08/19/j-sla2013-workshop/
Saturday, October 26, 13
この重なりは多いの?少ないの?
9.1効果量
重なりの大小を示す指標=効果量
Saturday, October 26, 13
この重なりは多いの?少ないの?
9.1効果量
重なりの大小を示す指標=効果量
水本・竹内(2008, p. 62)へ
Saturday, October 26, 13
Task6
H0:男女の間でTOEICのスコアに差はないH1:男女の間でTOEICのスコアに差がある結果:男女の間でTOEICのスコアに差があるかどうか対応のないt検定を用いて分析した結果、男女の間でTOEICのスコアに有意な差はないことが明らかとなった (t(90)=.53, p=.60, d=.11)
9.1効果量
Saturday, October 26, 13
Task7
H0:実験の前後でTOEICのスコアに差がないH1:実験の前後でTOEICのスコアに差がある結果:実験の前後でTOEICのスコアに差があるかどうか対応のあるt検定を用いて分析した結果、実験の前後でTOEICのスコアに有意な差があることが明らかとなった (t(91)=-2.61, p=.01, Δ=.57)
9.1効果量
Saturday, October 26, 13
Sonobe, Ueda, & Yamane (2009)の結果
2 4 6 8 10
0.0
0.1
0.2
0.3
0.4
0.5
0.6
Post-practice
Evaluation
2 4 6 8 10
0.0
0.1
0.2
0.3
0.4
0.5
0.6
Pre-practice
Evaluation
赤:実験群 青:統制群
Saturday, October 26, 13
Sonobe, Ueda, & Yamane (2009)の結果
2 4 6 8 10
0.0
0.1
0.2
0.3
0.4
0.5
0.6
Post-practice
Evaluation
2 4 6 8 10
0.0
0.1
0.2
0.3
0.4
0.5
0.6
Pre-practice
Evaluation
Cohen’s d=1.18Cohen’s d=0.21
Saturday, October 26, 13
9.2検定力
事前の検定力分析事後の検定力分析
Saturday, October 26, 13
9.2検定力
有意確率(α)
サンプルサイズ
効果量検定力(1-β)
Saturday, October 26, 13
9.2検定力
有意確率(α)
サンプルサイズ
効果量検定力(1-β)
5%
80%中程度
?
事前の検定力分析Saturday, October 26, 13
9.2検定力
事前の検定力分析適切な検定力(80%)を得るためには、いくつのサンプルサイズにすれば良いのかを分析する
Saturday, October 26, 13
9.2検定力
有意確率(α)
サンプルサイズ
効果量検定力(1-β)
Saturday, October 26, 13
9.2検定力
有意確率(α)
サンプルサイズ
効果量検定力(1-β)
5%
?d
n
事後の検定力分析Saturday, October 26, 13
9.2検定力
事後の検定力分析被験者数、データから効果量を用いて、実験における検定力を得るために行う分析
Saturday, October 26, 13
Top Related