千葉大学統計勉強会20130918,20

伝わりやすい統計結果の記載に向けて

記述統計と推測統計そして効果量と検定力

山本長紀[email protected]

千葉大学教育学部英語科統計勉強会2013年9月18日・20日　於千葉大学教育学部

Saturday, October 26, 13

これ読んでどう思います？「交際相手いない若者、男性６割・女性５割」２０１３年版の厚生労働白書案が２６日、明らかになった。白書案は「若者の意識を探る」というサブタイトルで、結婚や出産・子育て、仕事に関する若者の意識などを分析した。　結婚については、国立社会保障・人口問題研究所の調査（２０１０年）などで、〈１〉１８～３９歳の未婚者の９割弱が結婚願望を抱いている〈２〉異性の交際相手も友人もいない割合は男性で約６割、女性で約５割に上っている――との結果になったことなどを踏まえ、白書案で「結婚相手の候補となりうる交際相手がいる若者は限定的」と指摘した。Yomiuri Online 8月26日記事 http://www.yomiuri.co.jp/national/news/20130826-OYT1T00614.htm


これ読んでどう思います？

５割ずつが付き合っても男性は１割余る？


これ読んでどう思います？

５割の人たち

１割の男性


でも実は…割合≠数

2010年の20歳から39歳（若者）の人口は…

男性女性20～24 3,543,000 3,359,000

25～29 3,829,000 3,667,000

合計 7,372,000 7,026,000


でも実は…

男性の6割＝4,423,000

女性の5割＝3,513,000

↓差は910,000人の男性男性の1割2分3厘


でも実は…

１割２分３厘の男性


つまり…

必要な情報を記載しましょう


つまり…

正しく伝えるために情報を記載する必要性


今回のめあて

「何」を「どう」記載すれば良いのか学ぼう


今回のめあて「何」を「どう」記載すれば良いのか学ぼう

記述統計

推測統計（t検定, χ2検定, 相関分析）

効果量

検定力


そ　の　ま　え　に


1. 統計を使う研究法とは

・「仮説検証型」の研究

・検証した結果の一般化が可能

・検証のためのツール＝統計

検証される仮説って？

→Task 1へSaturday, October 26, 13

1.1 仮説と実験デザイン

仮説＝研究目的／Research Question

（できれば）仮説はYes/Noで答えられるもの


1.2 一般化が可能とは

母集団標本

標本抽出

推測→Task 2へ



母集団

偏った標本に対して推測統計を用いる場合は、標本から母集団をどこまで広げて解釈とするか、しっかりと考える必要があるでしょう（竹内・水本, 2012, p. 47）



母集団の解釈のために被検者の記述はしっかり

・TOEICのスコアの報告だけで十分？・附属中生は中学生全体の標本となるか？


1.3 結果の記述

→Task 3へ


1.3 結果の記述

今回はここの記述の仕方を学びます

そのために統計がどういうものか学びます


1.4 量的研究の流れ

・大きな研究テーマの決定

・先行研究の洗い出し。具体的なテーマの決定

・データ収集

・データ分析

・解釈


1.4 量的研究の流れ・データ収集

・データ分析

被験者の決定、実験デザインの決定

テスト作成、実験の実施、テストの実施など

統計を使う（記述統計と推測統計）


1.4 量的研究の流れ

分析方法を考えず適当にデータを集めると…

Garbage in, Garbage out


今回のめあて

結果の記述の仕方を学びます

統計がどういうものか学びます

使う統計を踏まえて実験デザインを考える


今回のめあて

記述統計


効果量

検定力


記述統計

その前に「尺度」について…


2. 記述統計（1）

尺度水準･･･現象をデータとして集めるための基準

比（率）尺度間隔尺度順序尺度名義尺度


2. 記述統計（1）名義尺度

性別　1.男性 2.女性

好きな教科　1.英語　2.国語　3.数学…

四則演算不可

数字を入れ替えても大丈夫


2. 記述統計（1）順序尺度

学年　1.１年生　2.２年生　3.３年生

テストの順位

四則演算不可

大小の比較はできる

数字の間隔は等間隔ではないSaturday, October 26, 13

2. 記述統計（1）間隔尺度

テストの得点

加算、除算のみ可

数字の間隔は一定

「ゼロ」は無を意味しないSaturday, October 26, 13

2. 記述統計（1）比尺度

語数

時間

四則演算可

数字の間隔が等間隔

「ゼロ」が無を意味するSaturday, October 26, 13


比尺度と間隔尺度は同じものとして扱う



ここで問題です！


2. 記述統計（1）ここで問題です！

Sonobe, Ueda & Yamane (2009)の10段階評価は

何尺度でしょう？


2. 記述統計（1）Sonobe, Ueda & Yamane (2009)の10段階評価は


自粛


2. 記述統計（1）Sonobe, Ueda & Yamane (2009)の10段階評価は


Likert scaleは本来順序尺度だが、

間隔尺度と「みなして」統計処理を行う



尺度は統計的検定の選択に大きく影響するので

正しく理解する必要があります



「このデータの特徴は◯◯ですよ」と記述する統計



クラス１クラス２クラス３合計男性の人数 18 17 13 48

女性の人数 12 14 18 44

合計 30 31 31 92

被験者数＝サンプルサイズ



クラス１クラス２クラス３平均 366.17 402.58 509.03

中央値 367.5 405 510

最頻値 365 300 605

分散 4297.73 9969.78 9497.37

標準偏差 65.56 99.85 97.45



データの中心を表す

平均値、中央値、最頻値



データの平均値を中心としたばらつきを表す

分散＝標準偏差2



M=50

SD=5

0 20 40 60 80 100

0.00

0.02

0.04

0.06

0.08

0.10



M=50

SD=10

0 20 40 60 80 100

0.00

0.02

0.04

0.06

0.08

0.10



M=50

SD=15

0 20 40 60 80 100

0.00

0.02

0.04

0.06

0.08

0.10



0 20 40 60 80 100

0.00

0.02

0.04

0.06

0.08

0.10



記述統計のうち

少なくともMとSDは記載しましょう



実験１英語のテストの平均点がA組60点、B組40点で５%水準で有意な差があった。

実験２英語のテストの平均点がA組60点、B組40点で有意な差がなかった。


3. 記述統計（2）実験１

0 20 40 60 80 100

0.00

0.02

0.04

0.06

0.08

0.10

English Test

Score

A組M=60SD=5

B組M=40SD=5


3. 記述統計（2）実験２

A組M=60SD=20

B組M=40SD=20

0 20 40 60 80 100

0.00

0.02

0.04

0.06

0.08

0.10

English Test

ScoreSaturday, October 26, 13


数字だけではなく、

グラフを作成することも大切


3. 記述統計（2）１）

52%48%

Man Woman


3. 記述統計（2）２）

Histogram of TOEIC_total

TOEIC_total

Frequency

0 200 400 600 800

05

1015

2025

30


3. 記述統計（2）３）

Class1

Class2

Class3

0% 25% 50% 75% 100%low middle high


3. 記述統計（2）おまけ（箱ひげ図）0

200

400

600

800

Box Plot


3. 記述統計（2）おまけ（箱ひげ図）0

200

400

600

800

Box Plot

最大値

最小値

中央値3/4

1/4


3. 記述統計（2）おまけ（箱ひげ図）

Pre_TOEIC Post_TOEIC

200

300

400

500

600

700

800

Box Plot



正しくグラフを作りましょう


3.2 正規分布M±2SDに約96%M±1SDに約68%


3.2 正規分布M±1.96SDの外側が合計5%


4.1妥当性

構成概念妥当性（ハンドアウト5ページ）

測定しようとしているものが、構成概念（直接は測定出来ないもの）に沿っているかどうか

例えば…「英語学習への動機づけ」を見るために「英語の先生が好きかどうか」を測定する


4.1妥当性


とりあえずアンケートしてみる


4.1妥当性


測定項目の妥当性を「事前に」確かめる


4.2信頼性

測定を何度やっても同じ人には同じ結果が得られるであろう精度

クロンバックのアルファ（Cronbach’s alpha）

Interrater reliability

例えばスピーキングの評価を2人で行った場合の信頼性


4. 妥当性と信頼性

妥当性は事前に

信頼性は事後に

それぞれ確認をする


今回のめあて

記述統計


効果量

検定力


今回のめあて



母集団標本

推測


母集団標本

推測

記述統計


母集団標本

推測

記述統計

推測統計


1. 統計を使う研究法とは

・「仮説検証型」の研究

・検証した結果の一般化が可能

・仮説の検証のためのツール＝推測統計

おさらい


5.1 帰無仮説と対立仮説

帰無仮説（null hypothesis, H0）

対立仮説（alternative hypothesis, H1）



帰無仮説（null hypothesis, H0）

対立仮説（alternative hypothesis, H1）

男女で英語のテストの平均点に差はない

男女で英語のテストの平均点に差がある



推測統計の考え方（ざっくり）

得られたデータの下で帰無仮説が正しい確率を求める。その確率がとても小さい（５%未満）ならば帰無仮説が正しいとは考えず（帰無仮説を棄却する）、対立仮説が正しいと考える（対立仮説を採択する）。



推測統計の考え方（ざっくり）「差がない」という帰無仮説を棄却した場合、「差がある」のではなく、「差がないとはいえない」が正しい

帰無仮説が正しい確率＝p値

５%＝有意水準Saturday, October 26, 13

5.2 第1種＆第2種の過誤

研究結果真の結果真の結果

研究結果差がない差がある

有意差なし正しい判断（1-α）第２種の過誤（β）

有意差あり第１種の過誤（α）正しい判断（1-β）



第1種の過誤

本当は差がないのに、統計で差があるという結果になる

女の子はBoyのことを本当は好きじゃない数々のデータから「自分のこと好きなんだ」と結論を導き出してしまう勘違いBoy



第1種の過誤


確率は５% (=α)



第2種の過誤

本当は差があるのに、統計で差がないという結果になる

女の子はBoyのことを本当に好き数々のデータから「自分のこと好きじゃない」と結論を導き出してしまうドン臭いBoy



第2種の過誤

本当は差があるのに、統計で差がないという結果になる

確率は20% (=β)



「差があるかどうか」を見る検定

「関係があるかどうか」を見る検定


6.1差の検定対応のないt検定

対応のあるt検定

繰り返しのない一元配置分散分析（ANOVA）

繰り返しのある一元配置分散分析（ANOVA）

χ2検定


6.1.1 t検定対応のないt検定


２つのグループの平均値の差を見る検定


例えば、1学期期末テストの平均点がA組68

点、B組78点でした。この10点の差は統計的に差があると言えるのか。

6.1.1 t検定


差があれば…

差がなければ…

0 20 40 60 80 100

0.00

0.01

0.02

0.03

0.04

English test A-B

Test score

6.1.1 t検定


正規性が確保されているか（母集団が正規分布かどうか）

間隔尺度以上か２グループのサンプルサイズに偏りがないか２グループの分散が等しいか（等分散か）

6.1.1 t検定


対応のないt検定


対応のない＝異なる２グループが　　　　　　１つのテストを受けた場合対応のある＝同じ１グループが　　　　　　１つのテストを２回受けた場合

6.1.1 t検定


「対応のない」の例

A組

B組授業

言語能力テスト

6.1.1 t検定


「対応のある」の例（pre-postデザイン）

A組授業Pretest言語能力テスト

Posttest言語能力テスト

6.1.1 t検定


２つを組み合わせたデザイン

A組

B組

授業Pretest言語能力テスト


6.1.1 t検定


２つを組み合わせたデザイン

A組

B組

授業Pretest言語能力テスト


これはt検定では分析できない

6.1.1 t検定


6.1.1 t検定

→Task 7へ

→Task 6へ


6.1.1 t検定Task6

H0:男女の間でTOEICのスコアに差はないH1:男女の間でTOEICのスコアに差がある結果:男女の間でTOEICのスコアに差があるかどうか対応のないt検定を用いて分析した結果、男女の間でTOEICのスコアに有意な差はないことが明らかとなった (t(90)=.53, p=.60)


6.1.1 t検定Task7

H0:実験の前後でTOEICのスコアに差がないH1:実験の前後でTOEICのスコアに差がある結果:実験の前後でTOEICのスコアに差があるかどうか対応のあるt検定を用いて分析した結果、実験の前後でTOEICのスコアに有意な差があることが明らかとなった (t(91)=-2.61, p=.01)






χ2検定


6.1.2 一元配置分散分析繰り返しのない一元配置分散分析（ANOVA）


３つ以上のグループの平均値の差を見る検定


6.1.2 一元配置分散分析

例えば、1学期期末テストの平均点がA組68

点、B組78点、C組45点。この３つのグループの差は統計的に差があると言えるのか。



0 20 40 60 80 100

0.00

0.01

0.02

0.03

0.04

English test A-B

Test scoreSaturday, October 26, 13


正規性が確保されているか間隔尺度以上か３グループ以上のサンプルサイズに偏りがないか等分散であるか


6.1.2 一元配置分散分析繰り返しのない一元配置分散分析（ANOVA）


繰り返しのない＝異なる３グループ以上が　　　　　　１つのテストを受けた場合

繰り返しのある＝同じ１グループが　　　　１つのテストを３回以上受けた場合


「繰り返しのない」の例

A組

B組

C組

授業言語能力テスト



「繰り返しのある」の例

A組授業test1 授業test2 test3

分散分析と多重比較について (ハンドアウトp.10)



分散分析

A組授業test1 授業test2 test3


多重比較



結局t検定を繰り返しているだけじゃないか！

ハンドアウトp. 9


第1種の過誤


確率は５% (=α)



Sonobe, Ueda, & Yamane (2009)は…


実験群

統制群

指導Pretest Posttest

差があった差がなかった


6.1.2 分散分析

繰り返しのない二元配置分散分析

繰り返しのある二元配置分散分析

２要因混合計画の分散分析

多元配置分散分析






χ2検定


χ2検定

6.1.3 χ2検定

適合度検定独立性の検定


χ2検定

6.1.3 χ2検定適合度検定

例えば...

生徒の最も好きな教科の選択に差があるのか

国語数学英語理科社会

55 30 13 74 58

被験者数 230Saturday, October 26, 13

χ2検定


名義尺度のデータを扱う検定

国語数学英語理科社会

55 30 13 74 58


χ2検定


データが名義尺度であるかデータが累積の頻度であるかデータが独立しているか　　　が５以上であるか期待値


χ2検定


期待値同じように選択されると仮定した場合の値つまり「差がない」と仮定した場合の値

国語数学英語理科社会実測値 55 30 13 74 58期待値 46 46 46 46 46被験者数 230


χ2検定


実測値と期待値がどれだけ離れているかを検定し、全体として差があるかどうか見る


χ2検定


実測値と期待値がどれだけ離れているかを検定し、全体として差があるかどうか見る

どこが多くてどこが少ないのかは、多重比較を用いて分析（今回は扱わない）


χ2検定

6.1.3 χ2検定

適合度検定独立性の検定


χ2検定

6.1.3 χ2検定

例えば...

男女ごとで最も好きな教科の選択に違いがあるか

独立性の検定

国語数学英語理科社会男子 11 25 6 40 16女子 34 5 7 34 42


χ2検定

6.1.3 χ2検定独立性の検定

期待値実測値国語数学英語理科社会合計男子 11 25 6 40 16 98女子 44 5 7 34 42 132合計 55 30 13 74 58 230

期待値 x : 98 = 55 : 230

　　　 x = (55 × 98) ÷ 230Saturday, October 26, 13

χ2検定


期待値男女に関係なく教科が選ばれた場合の値

つまり、性別と教科の選択に関係がないと仮定した場合の値


χ2検定


２つの変数（性別・好きな教科）は関係があるかどうかを見る検定

もし関係があれば、どこかが多くなり、どこかが少なくなるかも…

→残差分析を用いて分析Saturday, October 26, 13

6.1.3 χ2検定

→Task 9へ

→Task 8へ


Task8

H0:母語別の被験者数に差はないH1:母語別の被験者数に差がある結果:母語別の被験者数に差があるかどうかχ2検定を用いて分析した結果、被験者数に有意な差があった (χ2(2)=16.80, p=.00)

6.1.3 χ2検定


Task9

H0:性別と実験の効果の有無は独立であるH1:性別と実験の効果の有無は独立でない結果:性別と実験の効果の有無に関係があるかどうかχ2検定用いて分析した結果、性別と実験の効果の有無に有意な関係があることが明らかとなった (χ2(1)=5.53, p=.02)

6.1.3 χ2検定


6.1関係の検定

相関分析（ピアソン積率相関）


6.1関係の検定相関分析（ピアソン積率相関）例えば…

中学生の国語と英語のテストの間に相関関係があるかどうか


6.1関係の検定相関分析（ピアソン積率相関）間隔尺度以上（厳密には）正規性が確保されている


6.1関係の検定相関分析（ピアソン積率相関）ピアソン積率相関係数 r

r = ± .70～1.0 強い相関ありr = ± .40～.70 中程度の相関ありr = ± .20～.40 弱い相関ありr = ± .00～.20 相関なし


相関

r = .00


相関

r = .25


相関

r = .50


相関

r = .75


相関

r = .90


相関

r = 1.00


6.1関係の検定相関分析（ピアソン積率相関）しかし、「どういう相関関係か」と「統計的に有意な相関関係があるか」は別問題。

→帰無仮説・対立仮説(ハンドアウトp. 13)


6.1関係の検定相関分析（ピアソン積率相関）

相関関係を視覚的に見るために散布図を！

→Task 10へ


Task10

H0:国語と英語の得点の間に相関がないH1:国語と英語の得点の間に相関がある結果:国語の得点と英語の得点の間に相関関係があるかどうか相関分析を行った結果、２つの得点の間に強い正の相関関係があった(r=.72, p=.00)

6.1関係の検定


Task10

6.1関係の検定

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

20 30 40 50 60 70 80 90

4050

6070

8090

100

Scatter Plot

Japanese

English


8 実践してみよう

→Task 11へ

→Task 12へ


Group M SD Diff p valueGroup 1 50.00 10.00

2.00 .374Group 2 52.00 10.00

2.00 .374

Group M SD Diff p valueGroup 1 50.00 10.00

2.00 .046Group 2 52.00 10.00

2.00 .046

9.1効果量


Group M SD Diff n p valueGroup 1 50.00 10.00

2.0020

.374Group 2 52.00 10.00

2.0020

.374


2.00200

.046Group 2 52.00 10.00

2.00200

.046

9.1効果量


サンプルサイズが大きいと、有意になりやすい

9.1効果量


2.00200

.046Group 2 52.00 10.00

2.00200

.046


サンプルサイズに左右されず、

実験の「効果」を見るにはどうすれば…

9.1効果量


52 79

59 55

61 61

76 89

45 51

68 71

63 63

69 41

43 41

51 83

36 93

51 47

39 37

71 52

26 41

70 57

38 64

58 76

48 43

28 90

54 58

58 38

38 38

42 43

47 58

78 60

68 48

40 45

50 24

68 36

Group A Group B

あるテストの結果

9.1効果量浦野研先生の日本第二言語習得学会2013年度夏季セミナー投影資料を加筆

http://www.urano-ken.com/blog/2013/08/19/j-sla2013-workshop/


平均点

Group A Group B

52.1 57.1

Group B の方が優秀？

<




「差」ではなく「重なり」を見よう

0"

1"

2"

3"

4"

5"

6"

7"

8"

9"

0,10" 11,20" 21,30" 31,40" 41,50" 51,60" 61,70" 71,80" 81,90" 91,100"

Group"A"

Group"B"




（吉田, 1998, p. 173）




差は同じ（吉田, 1998, p. 173）




重なりの量が違う




0"

1"

2"

3"

4"

5"

6"

7"

8"

9"

0,10" 11,20" 21,30" 31,40" 41,50" 51,60" 61,70" 71,80" 81,90" 91,100"

Group"A"

Group"B"

この重なりは多いの？少ないの？





9.1効果量

重なりの大小を示す指標＝効果量



9.1効果量

重なりの大小を示す指標＝効果量

水本・竹内（2008, p. 62）へ


Task6

H0:男女の間でTOEICのスコアに差はないH1:男女の間でTOEICのスコアに差がある結果:男女の間でTOEICのスコアに差があるかどうか対応のないt検定を用いて分析した結果、男女の間でTOEICのスコアに有意な差はないことが明らかとなった (t(90)=.53, p=.60, d=.11)

9.1効果量


Task7

H0:実験の前後でTOEICのスコアに差がないH1:実験の前後でTOEICのスコアに差がある結果:実験の前後でTOEICのスコアに差があるかどうか対応のあるt検定を用いて分析した結果、実験の前後でTOEICのスコアに有意な差があることが明らかとなった (t(91)=-2.61, p=.01, Δ=.57)

9.1効果量


Sonobe, Ueda, & Yamane (2009)の結果

2 4 6 8 10

0.0

0.1

0.2

0.3

0.4

0.5

0.6

Post-practice

Evaluation

2 4 6 8 10

0.0

0.1

0.2

0.3

0.4

0.5

0.6

Pre-practice

Evaluation

赤：実験群　青：統制群


Sonobe, Ueda, & Yamane (2009)の結果

2 4 6 8 10

0.0

0.1

0.2

0.3

0.4

0.5

0.6

Post-practice

Evaluation

2 4 6 8 10

0.0

0.1

0.2

0.3

0.4

0.5

0.6

Pre-practice

Evaluation

Cohen’s d=1.18Cohen’s d=0.21


9.2検定力

事前の検定力分析事後の検定力分析


9.2検定力

有意確率（α）

サンプルサイズ

効果量検定力（1-β）


9.2検定力




５％

80％中程度

？

事前の検定力分析Saturday, October 26, 13

9.2検定力

事前の検定力分析適切な検定力（80％）を得るためには、いくつのサンプルサイズにすれば良いのかを分析する


9.2検定力





9.2検定力




５％

？d

n

事後の検定力分析Saturday, October 26, 13

9.2検定力

事後の検定力分析被験者数、データから効果量を用いて、実験における検定力を得るために行う分析


千葉大学統計勉強会20130918,20

Education

Transcript of 千葉大学統計勉強会20130918,20