Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng...

23
Chương 10 KIỂM ĐỊNH PHI THAM SỐ Ths. Nguyễn Tiến Dũng Viện Kinh tế và Quản lý, Trường ĐH Bách khoa Hà Nội Email : [email protected]

Transcript of Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng...

Page 1: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

Chương 10

KIỂM ĐỊNH PHI THAM SỐ

Ths. Nguyễn Tiến Dũng

Viện Kinh tế và Quản lý, Trường ĐH Bách khoa Hà Nội

Email: [email protected]

Page 2: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

Giới thiệu về KĐ phi tham số

● KĐ Phi tham số (non-parametric tests) là gì?

● Không dựa trên TB, tỷ lệ, PS, độ lệch chuẩn

● Tại sao KĐ phi tham số?

● Tổng thể không có PP bình thường

● Tổng thể có những giá trị bất thường (outliers)

● Cỡ mẫu nhỏ

● DL định tính

© 2013 Nguyễn Tiến Dũng 2

Page 3: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

Các bài toán và phương pháp KĐ phi tham số thường dùng

Mục đích PP KĐ phi tham số PP KĐ tham số tương

đương

So sánh TB của 1 tổng thể

với một giá trị cố định

KĐ dấu và hạng Wilcoxon

(Wilcoxon signed rank test)

One-sample T- Test

So sánh 2 TB của 2 tổng thể

với nhau, trường hợp 2 mẫu

cặp

KĐ dấu và hạng Wilcoxon

trên hai mẫu

2 Independent Samples T-

Test

So sánh 2 TB của 2 tổng thể

với nhau, trường hợp 2 mẫu

độc lập

KĐ tổng hạng Wilcoxon

(Wilcoxon rank-sum test)

hoặc KĐ Mann-Whitney U

2 Paired Samples T-Test

So sánh k TB của k tổng thể

với nhau (k > 2)

KĐ Kruskal - Wallis ANOVA một yếu tố (one-way

ANOVA)

KĐ mối liên hệ giữa hai biến

định tính

Phân tích tương quan hạng

Spearman

KĐ Chi bình phương (Chi-

square Test)

Phân tích tương quan và hồi

quy

KĐ về sự phù hợp của một

phân phối với một phân phối

lý thuyết

KĐ Chi bình phương trên

một mẫu / KĐ sự phù hợp

(Goodness-of-fit Test)

© 2013 Nguyễn Tiến Dũng 3

Page 4: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

CÁC NỘI DUNG CHÍNH

● 10.1 KĐ dấu và hạng Wilcoxon về trung bình của

một tổng thể

● 10.2 KĐ dấu và hạng Wilcoxon trên 2 tổng thể,

trường hợp lấy mẫu cặp

● 10.3 KĐ tổng hạng Wilcoxon trên 2 tổng thể,

trường hợp lấy mẫu độc lập

● 10.4 KĐ Chi bình phương về mối liên hệ giữa hai

biến định tính

● 10.5 KĐ Chi bình phương trên một mẫu

© 2013 Nguyễn Tiến Dũng 4

Page 5: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

10.1 KĐ dấu và hạng Wilcoxon về trung vị của tổng thể

Gọi trung vị tổng thể là M, giá trị cần so sánh là M0.

● B1: Thu thập thông tin mẫu

● B2: Tính các chênh lệch di: 𝑑𝑖 = 𝑥𝑖 −𝑀0

● B3: Tính giá trị tuyệt đối của các chênh lệch |di|

● B4: Loại bỏ các chênh lệch bằng 0, xếp hạng các

|di| còn lại từ nhỏ đến lớn, |di| nhỏ nhất có hạng là

1.

● Nếu có hạng ngang nhau thì tính hạng TB.

● Cỡ mẫu rút gọn n’ = n – số trường hợp có di bằng 0

● B5: Tách các hạng vừa xếp thành 2 cột Nếu di > 0

thì đặt vào cột R+. Nếu di < 0 thì đặt vào cột R-

© 2013 Nguyễn Tiến Dũng 5

0 0

1 0

:

:

H M M

H M M

Page 6: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

● Theo SGK của Hoàng Trọng & Chu Nguyễn Mộng

Ngọc thì:

● B6: Tính giá trị của chỉ tiêu KĐ W

● Nếu KĐ bên phải: W = ΣR+

● Nếu KĐ bên trái: W = ΣR-

● Nếu KĐ hai bên: W = min(ΣR+; ΣR-)

● B7: Tra bảng Wilcoxon tìm Wα (giá trị của CẬN

DƯỚI, tương ứng với trường hợp KĐ 1 bên hay 2

bên) và áp dụng quy tắc bác bỏ H0

● Nếu W < Wα

© 2013 Nguyễn Tiến Dũng 6

Page 7: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

● Theo quan điểm khác:

● B6: Tính chỉ tiêu KĐ W = ΣR+

● B7: Tra bảng tìm WL (cận dưới) và WU (cận trên) và áp dụng quy tắc

bác bỏ H0.

● Nếu KĐ 2 bên: W < WL hoặc W < WU

● Nếu KĐ bên trái: W < WL

● Nếu KĐ bên phải: W > WU

● Quy tắc bác bỏ H0: Như KĐ về TB của một tổng thể, trường hợp biết

© 2013 Nguyễn Tiến Dũng 7

Page 8: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

Wilcoxon Table

© 2013 Nguyễn Tiến Dũng 8

Page 9: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

TD KĐ về thu nhập TB của SV sau khi tốt nghiệp –Tr. 284 - Bảng 10.1 Tr. 286

© 2013 Nguyễn Tiến Dũng 9

Page 10: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

10.2 KĐ tổng hạng Wilcoxon về TB của 2 mẫu độc lập

● B1: Chọn mẫu làm Mẫu 1 (n1 <n2) và lập cặp giả thuyết TK. Nếu 2 mẫu có cỡ mẫu bằng nhau,

thì coi mẫu nào là Mẫu 1 cũng được. Gọi M1, M2 là trung vị của tổng thể thứ nhất và thứ hai

© 2013 Nguyễn Tiến Dũng 10

0 1 2

1 1 2

:

:

H M M

H M M

0 1 2

1 1 2

:

:

H M M

H M M

0 1 2

1 1 2

:

:

H M M

H M M

● B2: Gộp chung 2 mẫu thành 1 danh sách

chung và sắp xếp từ nhỏ tới lớn. Xác định

hạng của các quan sát theo nguyên tắc

là QS có giá trị nhỏ nhất sẽ có hạng là 1,

giá trị càng lớn thì hạng càng lớn. Nếu có

2 quan sát có giá trị bằng nhau, thì lấy

hạng TB.

Page 11: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

● B3: Xác định chỉ tiêu KĐ

● Nếu cỡ mẫu nhỏ (n1 <10 và n2 < 10) thì chỉ

tiêu KĐ là T1. T1 là tổng hạng của Mẫu 1. N

= n1+ n2.

● Nếu cỡ mẫu lớn (n1 hoặc n2 ≥ 10) thì chỉ

tiêu KĐ là z

● B4: Bác bỏ H0

● Nếu cỡ mẫu nhỏ:

● KĐ 2 bên: T1 > WU hoặc T1 < WL

● KĐ bên trái: T1 < WL

● KĐ bên phải: T1 > WU

● Nếu cỡ mẫu lớn: tương tự như KĐ TB của 1

tổng thể, trường hợp biết

© 2013 Nguyễn Tiến Dũng 11

11

1 21

1

1

(N 1)

2

(N 1)

12

1

T

T

T

T

n

n n

Tz

Page 12: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

● TD: Tác động của kiểu trưng bày hàng hoá tới

doanh số

● Mẫu 1: 10 gian hàng trưng bày theo kiểu bình thường

● Mẫu 2: 10 gian hàng khác, trưng bày theo kiểu đặc

biệt

● Ghi nhận doanh số và so sánh

© 2013 Nguyễn Tiến Dũng 12

Page 13: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

10.3 KĐ dấu và hạng Wilcoxon với 2 mẫu cặp

● B1: Xác định các chênh lệch di = x1i – x2i và lập cặp

giả thuyết KĐ

© 2013 Nguyễn Tiến Dũng 13

0 1 2

1 1 2

:

:

H M M

H M M

0 1 2

1 1 2

:

:

H M M

H M M

0 1 2

1 1 2

:

:

H M M

H M M

0

1

: 0

: 0

D

D

H M

H M

0

1

: 0

: 0

D

D

H M

H M

0

1

: 0

: 0

D

D

H M

H M

Page 14: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

● B2: Xác định các giá trị tuyệt đối |di|

● B3: Loại bỏ các |di| bằng 0, sắp hạng các |di| từ nhỏ tới lớn. Giá trị |di| nhỏ nhất có hạng là 1. Nếu có nhiều |di| bằng nhau, thì tính hạng trung bình.

● n’ = n – số trường hợp có di = 0

● B4: Tách riêng các hạng của |di| thành 2 loại, hạng R+ và hạng R- theo dấu của di gốc

● B5: Tính giá trị KĐ W = R+

● B6: Áp dụng quy tắc bác bỏ H0

● Nếu n’ ≤ 20

● KĐ bên trái: W ≤ WL

● KĐ hai bên: W ≤ WL hoặc W ≥ WU

● KĐ bên phải: W ≥ WU

© 2013 Nguyễn Tiến Dũng 14

Page 15: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

● Nếu n’ > 20 thì W xấp xỉ PP bình thường. Khi đó sẽ

biến đổi chuẩn hoá W và kiểm định theo chỉ tiêu z.

● Quy tắc bác bỏ H0 tương tự như bài toán KĐ TB của

một tổng thể, trường hợp biết

© 2013 Nguyễn Tiến Dũng 15

'( ' 1)

4

'( ' 1)(2 ' 1)

24

W

W

W

W

n n

n n n

Wz

Page 16: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

TD Trang 292: So sánh tốc độ xử lý của hai phần mềm

● Cài đặt 2 PM trên cùng các máy

● Chạy từng PM một, đo thời gian xử lý các tác vụ

● Chạy thử 2 PM này với 10 tác vụ khác nhau và đã ghi được thời gian xử lý của từng PM.

● DL ở Bảng 10.4 Trang 292.

● Mẫu 1: X1 – thời gian xử lý tác vụ của PM đang dùng

● Mẫu 2: X2 – thời gian xử lý tác vụ của PM mới

● Biến chênh lệch di = x1i – x2i

● Cặp giả thuyết KĐ

● W = 7 + 2 + 6 + 8 + 4,5 + 9 + 4,5 + 3 = 44

● n’ = n -1 = 9; α =0,05 Tra bảng có WU = 37

● Vì W > WU Bác bỏ H0.

© 2013 Nguyễn Tiến Dũng 16

0:

: 01

0D

D

H M

H M

Page 17: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

10.4 KĐ Kruskal – Wallis trên nhiều mẫu độc lập

● Mục đích: so sánh TB của k

mẫu độc lập (k >2)

● Gọi n = n1 + n2 + … + nk

● H0: M1 = M2 = … = Mk

● Chỉ tiêu KĐ W

● Quy tắc bác bỏ H0

● TD: Bảng 10.5 Trang 294 –

KĐ về tác động của mức độ

đi làm thêm tới KQ học tập

của SV (k =3)

© 2013 Nguyễn Tiến Dũng 17

2

1

2

1;

123( 1)

( 1)

0

W

Baùc boû H neáu

W>

k

i

i i

k

Rn

n n n

Page 18: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

● Nếu muốn so sánh tuổi thọ của cả 3 loại bóng đèn

cùng một lúc?

● Sử dụng Kruskal – Wallis Test

© 2013 Nguyễn Tiến Dũng 18

Page 19: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

10.5 KĐ Chi bình phương về mối liên hệ giữa 2 biến định tính

● Biến 1: Biến hàng

● Biến 2: Biến cột

● Lập bảng tần số liên hợp giữa 2 biến

● Xem TD Trang 297 sách TKƯD

● Muốn tìm hiểu xem liệu giữa thời gian tìm hiểu trước

hôn nhân và tình trạng gđ sau hôn nhân có mối liên

hệ gì hay không.

● Biến số 1: Thời gian tìm hiểu trước hôn nhân (Bảng

10.6 Trang 298), chia làm 3 mức (ngắn, TB và dài)

● Biến số 2: Tình trạng gia đình sau hôn nhân, chia

làm 3 loại (ly dị/ly thân; không hạnh phúc; hạnh phúc)

© 2013 Nguyễn Tiến Dũng 19

Page 20: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

● Bảng 10.6 mô tả tần số thực tế - Oij – có được từ

điều tra, nghiên cứu thực tế

● Bảng 10.7 tính toán ra tần số lý thuyết hay tần số

kỳ vọng Eij, căn cứ vào các giá trị của tổng hàng và

tổng cột.

● Nếu phân phối của tần số thực tế khác nhiều so với

phân phối của tần số kỳ vọng trong bảng, thì có thể

sẽ có một mối liên hệ nào đó giữa biến hàng và

biến cột

● Nếu muốn khẳng định chắc chắn, phải KĐ.

● P.pháp KĐ là Chi b.phương

© 2013 Nguyễn Tiến Dũng 20

Page 21: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

Ngắn TB Dài Tổng hàng

H.phúc E11 = 45

O11=38

E12 = 60

O12 = 58

E13 = 45

O13 = 54

R1 = 150

Không HP E21 = 9

O21 = 12

E22 = 12

O22 = 14

E23 = 9

O23 = 4

R2 = 30

Ly dị / Ly thân E31 = 6

O31 = 10

E32 = 8

O23 = 8

E33 = 6

O33 = 2

R3 = 20

C1 = 60 C2 = 80 C3 = 60 n = 200

© 2013 Nguyễn Tiến Dũng 21

i j

ij

R CE

n

2

2

1 1

2 2

;

( )

( 1).( 1)

0Baùc boû H neáu

r cij ij

i j ij

df

O E

E

df r c

Page 22: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

10.6 KĐ Chi bình phương về sự phù hợp

● Goodness-of-fit Test

● Mục đích: Kiểm tra sự phân

phối tần số có phù hợp với

một tần số lý thuyết hay

không

● TD: Xem Ví dụ 1 Trang

299, sách TKƯD về số tai

nạn lao động theo các

ngày trong tuần

● Chỉ tiêu KĐ

● Quy tắc bác bỏ H0

© 2013 Nguyễn Tiến Dũng 22

22

1

2 2

;

( )

1

0Baùc boû H neáu

k

i i

i i

df

O E

E

df k

Page 23: Chapter 1 DATA AND STATISTICS - …nguyentiendung.yolasite.com/resources/tkud ch10.pdf · Tổng thể có những giá trị bất thường ... Tách các hạng vừa xếp thành

Câu hỏi ng.cứu là gì?

Thứ Số vụ tai nạn

thực tế Oi

Số vụ tai nạn

theo giả thuyết Ei

Hai 7 5,33

Ba 3 5,33

Tư 3 5,33

Năm 2 5,33

Sáu 5 5,33

Bảy 12 5,33

Tổng 32 32

© 2013 Nguyễn Tiến Dũng 23