Bài giảng Tin học ứng dụng - Chương IV: Phân tích phương sai, so sánh và kiểm định - Trần Trung Hiếu

Nội dung text: Bài giảng Tin học ứng dụng - Chương IV: Phân tích phương sai, so sánh và kiểm định - Trần Trung Hiếu

1. Bài giảng tin ứng dụng • Gv: Trần Trung Hiếu • Bộ môn CNPM – Khoa CNTT – ĐH Nông Nghiệp Hà Nội • Email: tthieu@hua.edu.vn • Website:
2. CHƢƠNG IV: PHÂN TÍCH PHƢƠNG SAI, SO SÁNH VÀ KIỂM ĐỊNH Nội dung:  Phân tích phƣơng sai  Kiểm định sự bằng nhau của 2 phƣơng sai  So sánh trung bình 2 mẫu
3. Phân tích phƣơng sai • Ví dụ • Công cụ chủ yếu để phân tích số liệu khi theo dõi ảnh hƣởng của các mức nhân tố khác nhau tới kết quả hay ảnh hƣởng tƣơng tác của các nhân tố tới kết quả 3
4. 1.1 Phân tích phƣơng sai một nhân tố • Đƣợc sử dụng để phân tích số liệu khi theo dõi ảnh hƣởng của các mức nhân tố tới kết quả . Ví dụ: » Nhân tố: Công thức cho lợn ăn Mức nhân tố là các công thức khác nhau Xem ảnh hƣởng tới năng suất nhƣ thế nào . Bài toán: Kiểm định giả thuyết về tác động giống nhau của các mức nhân tố » H0: m1 = m2 = =mn » H1: tồn tại i, j mà mi khác mj • Các bƣớc thực hiện • Chuẩn bị dữ liệu • Dữ liệu có thể bố trí dƣới dạng cột hay hàng • Dữ liệu ứng với mỗi mức nhân tố có thể khác nhau • Sử dụng công cụ Anova: Single Factor • Phân tích kết quả • Nếu F thực nghiệm > F lý thuyết (Fcrit) thì các mức nhân tố có tác động khác nhau tới kết quả (chấp nhận H1) Cần so sánh các công thức để rút ra công thức nào tốt nhất (sử dụng LSD) • Ngƣợc lại: các mức nhân tố không có khác biệt đáng kể trong tác động tới kết quả (chấp nhận H0) 4
5. So sánh các trung bình dùng chỉ số LSD • Sử dụng trong trƣờng hợp kết luận các mức nhân tố có tác động khác nhau tới kết quả • Sử dụng để chỉ rõ tác động khác nhau của các mức nhân tố tới kết quả là ntn: xếp thứ tự về sự tác động của các mức nhân tố tới kết quả • Nếu cần so sánh trung bình CT Ti (với ri lần lặp) với trung bình CT Tj (với rj lần lặp) có thể tính thêm chỉ số 2 LSD = tα,f * SQRT(s (1/ ri + 1/ rj ) . tα,f = TINV(α, f) với α = 1 – p; f = df & within groups . s2= MS within groups: Phương sai chung . ri, rj: số lần lặp lại dữ liệu đối với các mức nhân tố i, j 1. Căn cứ kết luận . Nếu |mi-mj| > LSD(i,j) thì tác động của mức nhân tố i, j là khác nhau và ngược lại . Trong TH khác nhau, nếu mi > mj thì KLuan mức nhân tố i tốt hơn mức nhân tố j
6. Phân tích phƣơng sai hai nhân tố 1. Ví dụ: Điều tra về chiều dài của cây, hai nhân tố xét đến là phân bón và nhiệt độ 2. Xảy ra hai trƣờng hợp: . Nhân tố A và B không tƣơng tác, biến động gây nên bởi tác động đồng thời của A và B gần sát 0. . Nhân tố A và B có tƣơng tác. . Bài toán 1: Xét riêng tác động của các mức nhân tố A » H0: m1 = m2 = =mn » H1: tồn tại i, j mà mi khác mj . Bài toán 2: Xét riêng tác động của các mức nhân tố B » H0: m1 = m2 = =mn » H1: tồn tại i, j mà mi khác mj . Bài toán 3: Xét riêng tác động đồng thời của (A,B) » H0: Tác động đồng thời của 2 nhân tố không có tác động đáng kể tới kết quả » H1: Tác động đồng thời của 2 nhân tố có tác động đáng kể tới kết quả 6
7. Phân tích phƣơng sai hai nhân tố không tƣơng tác 1. Không xét đến tác động đồng thời của hai nhân tố A, B 2. Cần giải quyết bài toán 1, bài toán 2 3. Các bƣớc thực hiện . Bố trí dữ liệu . Sử dụng công cụ: Anova: Two-Factor Without Replication . Phân tích kết quả: » Xét giá trị F thực nghiệm và F lý thuyết tƣơng ứng với các nhân tố, nếu F thực nghiệm > F lý thuyết thì kết luận các mức của nhân tố tƣơng ứng có ảnh hƣởng khác nhau tới kết quả và ngƣợc lại 7
8. Phân tích phƣơng sai hai nhân tố tƣơng tác 1. Xét đến cả tác động đồng thời của 2 nhân tố A, B 2. Cần giải quyết 3 bài toán về phân tích phƣơng sai 3. Các bƣớc thực hiện . Bố trí dữ liệu . Sử dụng công cụ Anova: Two Factor With Replication . Phân tích kết quả » Xét giá trị F thực nghiệm và F lý thuyết tƣơng ứng với các nhân tố, nếu F thực nghiệm > F lý thuyết thì kết luận các mức của nhân tố tƣơng ứng có ảnh hƣởng khác nhau tới kết quả (chấp nhận H1) và ngƣợc lại (chấp nhận H0) » Xét giá trị F tn và F lt tƣơng ứng với tác động đồng thời của hai nhân tố (interaction), nếu Ftn > Flt thì chấp nhận H1, tác động đồng thời là đáng kể tới kết quả, ngƣợc lại chấp nhận H0 8
9. 2. Kiểm định sự bằng nhau của hai phƣơng sai . Kiểm định hai phía 2 = 2 » H0: δ1 δ2 (phƣơng sai của biến X bằng phƣơng sai của biến Y) : 2 2 » Đối thuyết H1 δ1 ≠ δ2 . Kiểm định một phía 2 = 2 » H0: δ1 δ2 (phƣơng sai của biến X bằng phƣơng sai của biến Y) : 2 2 » Đối thuyết H1 δ1 > δ2 9
10. Phân tích kết quả Trong Excel, sử dụng công cụ F-Test Two Sample for Variances để kiểm định một phía 1. Nếu F F Critical one-tail thì chấp nhận H0 (δ1 δ2 ) 2 > 2 . ngƣợc lại bác bỏ H0, chấp nhận H1 δ1 δ2 2. Nếu F >= 1 2 = 2 . nếu F 2 . ngƣợc lại bác bỏ H0, chấp nhận H1 δ1 δ2 10
11. 3. So sánh trung bình 2 mẫu • Với X, Y là 2 DLNN độc lập, có phân phối chuẩn N(mX; 2 2 σ X), N(mY; σ Y) ta có thể gặp các bài toán về kiểm định giả thuyết giá trị trung bình của 2 mẫu nhƣ sau: - Kiểm định hai phía: Giả thuyết H0: mX = mY+d Đối thuyết H1: mX ≠ mY+d - Kiểm định một phía: Giả thuyết H0: mX = mY+d Đối thuyết H1: mX > mY+d hoặc Giả thuyết H0: mX = mY+d Đối thuyết H1: mX < mY+d * Khi giá trị sai khác d=0 ta có bài toán kiểm định sự bằng nhau của 2 giá trị trung bình
12. 3. So sánh trung bình 2 mẫu Các trƣờng hợp: 1. Lấy mẫu độc lập 2 2 . TH biết phƣơng sai σ X, σ Y dữ liệu của 2 mẫu đƣợc lấy ngẫu . TH không biết phƣơngnhiên, 2sai mẫu là độc lập với nhau » Kích thƣớc mẫu lớn (nX>=30; nY>=30) » Kích thƣớc mẫu nhỏ • Hai phƣơng sai bằngdữ liệunhau của 2 mẫu lấy theo từng cặp • Hai phƣơng sai khác nhau tƣơng ứng 2. Lấy mẫu theo cặp
13. 3. So sánh trung bình 2 mẫu 1. So sánh TB 2 mẫu độc lập khi biết phƣơng sai 2 2 σ X, σ Y . Qui tắc kiểm định trong xác suất 2 2 » Xét đại lƣợng Z=(Xtb-Ytb-(mX-mY)-d)/sqrt(σ X/nX+ σ Y/nY) có phân phối chuẩn tắc Sử dụng khi trong một tình huống nào đó ta đã biết » Nếu giả thuyết H đúng thì Z=(X -Y -d)/sqrt(σ2 /n + σ2 /n ) được phương0 sai (thường tbxảytb ra khi điều traX lạiX mộtY Y có phân tổngphối thể chuẩn sau mộttắc thờikhi đógian ta chưa có bảng lâu, nênquy phương tắc kiểm sai định sau: chưa thay đổi, do đó lấy phương sai của lần điều tra trước để tính toán) * Trƣờng hợp này đƣợc trình bày chi tiết, các trƣờng hợp khác tƣơng tự
14. H0: mX = mY+d H0: mX = mY+d H0: mX = mY+d H1: mX ≠ mY+d H1: mX > mY+d H1: mX Zα/2)=α Ta có: P(Z>Zα)=α từ Ta có: P(Z Zα/2 quyết +Nếu Z>Zα quyết +Nếu Z =-Zα quyết định chấp nhận H0 định chấp nhận H0 định chấp nhận H0 * Zα/2, Zα đƣợc tra cứu trong bảng phân phối chuẩn tắc N(0,1) * Trong excel có thể tính Zα=normsinv(1-α), ngƣợc lại biết Zα có thể tính α =1-normsdist(Zα)
15. 3. So sánh trung bình 2 mẫu 1. So sánh TB 2 mẫu độc lập khi biết 2 2 phƣơng sai σ X, σ Y . Ví dụ: » So sánh giá trị trung bình của số cừu mắc bệnh trong 8 nhóm tiêm phòng và 8 nhóm đối chứng. Mẫu đƣợc lấy độc lập, biết phƣơng sai tƣơng ứng là 22, 18. » Các bƣớc thực hiện trong Excel:
16. Tool Data Analysis, chọn công cụ phân tích: z-Test: Two Sample for Means
17. Hiện cửa sổ Miền biến 1 Miền biến 2 Giả thiết về sự khác nhau của hai trung bình (d) Phương sai của biến 1 Phương sai của biến 2 Nếu có nhãn thì chọn Nơi để kết quả
18. Kết quả Trung bình Phương sai Số quan sát Giả thiết sự khác nhau của hai trung bình (d) Z thực nghiệm P một phía và hai phía Z lý thuyết (tới hạn) một phía (Zα) và hai phía (Zα/2)
19. 1. So sánh TB 2 mẫu độc lập khi biết 2 2 phƣơng sai σ X, σ Y * Căn cứ để kết luận 1. Kiểm định 2 phía . Nếu |Ztn|> Zhai phía (z critical two-tail) thì bác bỏ giả thuyết H0, chấp nhận H1 (mX≠mY+d) . Nếu |Ztn| 0 ta có bài toán kiểm định H0: mX = mY+d H1: mX > mY+d » Nếu Ztn> Zmột phía (z critical one-tail) thì bác bỏ H0 và ngƣợc lại . Nếu Ztn<0 ta có bài toán kiểm định H0: mX = mY+d H1: mX < mY+d » Nếu Ztn<-Zmột phía (z critical one-tail) thì bác bỏ H0 và ngƣợc lại
20. Phân tích kết quả Kiểm định 2 phía: Ta có |z|=2.068>z 2 phía nên bác bỏ giả thiết H0 (mX=mY) Kiểm định 1 phía: Vì z<0 nên ta xét bài toán kiểm định với đối thuyết H1: mX<mY Ta có z=-2.068<-zmột phía=-1.644 nên bác bỏ H0, chấp nhận H1 (mX<mY) Nhận xét về giá trị của Pmột phía và Phai phía so với mức xác suất α=0.05 ??
21. Thực hành 1. Sinh viên thực hành ví dụ vừa rồi với dữ 2 liệu đảo ngƣợc nhƣ sau (σ X =22, 2 σ Y=18):
22. 3. So sánh trung bình 2 mẫu 2. So sánh trung bình 2 mẫu độc lập trƣờng hợp không biết phƣơng sai và kích thƣớc mẫu lớn lớn (nX>=30, nY>=30) 2 . Xét đại lƣợng Z=(Xtb-Ytb-(mX-mY)-d)/sqrt(s X/nX+ 2 s Y/nY) có phân phối xấp xỉ phân phối chuẩn tắc 2 2 2 2 . (trong đó s X, s Y là các giá trị xấp xỉ của phƣơng sai σ X, σ Y có thể tính đƣợc bằng hàm VAR) . Tƣơng tự trƣờng hợp đã biết phƣơng sai, thay thế 2 2 2 2 s X bởi σ X, s Y bởi σ Y và sử dụng công cụ z-Test: two sample for means ta có thể giải quyết bài toán này.
23. 3. So sánh trung bình 2 mẫu 3. So sánh trung bình 2 mẫu độc lập trƣờng hợp không biết phƣơng sai và kích thƣớc mẫu nhỏ (nX<30 và nY<30) . Để giải quyết bài toán này ta cần có giả thiết về sự bằng nhau 2 2 hay khác nhau của 2 phƣơng sai σ X, σ Y . Nếu đề bài chƣa cho biết thông tin đó, cần kiểm định thêm một giả thuyết phụ về sự bằng nhau hay khác nhau của 2 2 2 phƣơng sai σ X, σ Y đã học ở bài trƣớc (sử dụng công cụ F- Test: Two-Sample for Variances) 2 2 » Nếu σ X = σ Y ta giải quyết bài toán sử dụng công cụ phân tích t- Test: Two-Sample Assuming Equal Variances 2 2 » Nếu σ X ≠ σ Y ta giải quyết bài toán sử dụng công cụ phân tích t- Test: Two-Sample Assuming Unequal Variances
24. Ví dụ 1: t-Test: Two-Sample Assuming Equal Variances (giả thiết đề bài cho hoặc sau khi kiểm định có kết quả 2 phƣơng sai bằng nhau)
25. Ví dụ 1: Kết quả Trung bình Phương sai Số quan sát Phương sai chung Giả thiết sự khác nhau của hai trung bình Bậc tự do = n1 + n2 -2 t thực nghiệm P một phía và hai phía t lý thuyết (tới hạn) một phía và hai phía
26. t-Test: Two-Sample Assuming Equal Variances 1. Căn cứ để kết luận . Kiểm định 2 phía » Nếu |ttn|> thai phía (t Critical two-tail) quyết định bác bỏ H0 và ngƣợc lại » Trong ví dụ 1: |ttn|=1.5187 α là phù hợp với kết luận trên . Kiểm định một phía » Nếu ttn>0 ta có bài toán kiểm định H0: mX = mY+d H1: mX > mY+d • Nếu ttn> tmột phía (t critical one-tail) thì bác bỏ H0 và ngƣợc lại » Nếu ttn<0 ta có bài toán kiểm định H0: mX = mY+d H1: mX < mY+d • Nếu ttn<-tmột phía (t critical one-tail) thì bác bỏ H0 và ngƣợc lại
27. Ví dụ 2: t-Test: Two-Sample Assuming Unequal Variances (giả thiết đề bài cho hoặc sau khi kiểm định có kết quả 2 phƣơng sai không bằng nhau)
28. Ví dụ 2: Kết quả
29. t-Test: Two-Sample Assuming Unequal Variances 1. Căn cứ để kết luận (giống trƣờng hợp 2 phƣơng sai bằng nhau, chỉ khác ở giá trị ttn do khác về công thức tính) . Kiểm định 2 phía » Nếu |ttn|> thai phía (t Critical two-tail) quyết định bác bỏ H0 và ngƣợc lại » Trong ví dụ 2: |ttn|=1.7133 α là phù hợp với kết luận trên . Kiểm định một phía » Nếu ttn>0 ta có bài toán kiểm định H0: mX = mY+d H1: mX > mY+d • Nếu ttn> tmột phía (t critical one-tail) thì bác bỏ H0 và ngƣợc lại » Nếu ttn<0 ta có bài toán kiểm định H0: mX = mY+d H1: mX < mY+d • Nếu ttn<-tmột phía (t critical one-tail) thì bác bỏ H0 và ngƣợc lại
30. 3. So sánh trung bình 2 mẫu 3. So sánh trung bình 2 mẫu đƣợc lấy theo cặp . Ví dụ:
31. Vào Tools/Data Analysis
32. Hiện ra của sổ Miền của biến 1, kể cả hàng đầu của mẫu quan sát. Miền của biến 2 Giả thiết về hiệu hai trung bình của hai tổng thể. H0: m1 = m2 thì ghi 0. Nếu H0: m1 = m2 + d thì ghi d Nếu có nhãn thì chọn Chọn miền đặt kết quả
33. Kết quả
34. t-Test: Paired Two Sample for Means 1. Căn cứ để kết luận (giống trƣờng hợp so sánh trung bình 2 mẫu độc lập có kích thƣớc mẫu nhỏ) . Kiểm định 2 phía » Nếu |ttn|> thai phía (t Critical two-tail) quyết định bác bỏ H0 và ngƣợc lại » Trong ví dụ trên: |ttn|=3.3105>thai phía=2.3646 nên chấp nhận H1 (mX≠mY). Giá trị Phai phía 0 ta có bài toán kiểm định H0: mX = mY+d H1: mX > mY+d • Nếu ttn> tmột phía (t critical one-tail) thì bác bỏ H0 và ngƣợc lại • Trong ví dụ trên: ttn>0 và ttn> tmột phía=1.8945 nên chấp nhận H1 (mX > mY). Giá trị Pmột phía<α là phù hợp với kết luận trên » Nếu ttn<0 ta có bài toán kiểm định H0: mX = mY+d H1: mX < mY+d • Nếu ttn<-tmột phía (t critical one-tail) thì bác bỏ H0 và ngƣợc lại