Giả thuyết không và p-value

Bạn sẽ học được

• Giả thuyết không và giả thuyết thay thế là gì.
• Định nghĩa đúng của p-value.
• Phân biệt sai lầm loại I và loại II.
• Ý nghĩa thực tế của mức ý nghĩa α.
• Vì sao "có ý nghĩa thống kê" khác "có ý nghĩa thực tiễn".

Khái niệm cốt lõi

Kiểm định giả thuyết là quy trình đánh giá xem dữ liệu có mâu thuẫn với một giả định hay không.

• Giả thuyết không (H₀): không có khác biệt, không có hiệu ứng. Ví dụ: tỷ lệ chuyển đổi của A và B bằng nhau.
• Giả thuyết thay thế (H₁): có khác biệt. Ví dụ: tỷ lệ của B cao hơn A.

Ta không "chứng minh" H₁. Ta chỉ hỏi: nếu H₀ đúng, khả năng quan sát dữ liệu cực đoan như thế này là bao nhiêu? Nếu rất thấp, ta bác bỏ H₀.

p-value là xác suất quan sát dữ liệu cực đoan bằng hoặc hơn dữ liệu hiện tại, giả sử H₀ đúng. Nó không phải:

• Xác suất H₀ đúng.
• Xác suất H₁ đúng.
• Xác suất kết quả lặp lại.
• Kích thước của hiệu ứng.

Ví dụ chuyển đổi

Giả sử tỷ lệ chuyển đổi nền là 10%. Nhóm B có 120 chuyển đổi trên 1.000 người (12%), nhóm A có 100 trên 1.000 (10%).

Câu hỏi kiểm định: nếu hai nhóm thật sự giống nhau ở 10%, khả năng thấy chênh lệch 2 điểm phần trăm hoặc lớn hơn là bao nhiêu? Nếu p = 0,08, ta chưa bác bỏ H₀ ở ngưỡng 0,05. Nếu p = 0,01, ta bác bỏ.

Lưu ý: p thấp không nói hiệu ứng lớn. Với mẫu rất lớn, chênh lệch 0,1 điểm phần trăm cũng có thể cho p < 0,001 — nhưng chênh lệch đó có thể không đáng làm gì.

Sai lầm loại I và loại II

• Mức ý nghĩa α là xác suất tối đa chấp nhận sai lầm loại I. Thường chọn 0,05: chấp nhận 5% khả năng báo "có hiệu ứng" khi thực ra không có.
• Power (1 − β) là xác suất phát hiện hiệu ứng khi nó thật sự tồn tại. Thường mong muốn 80%.

Hai sai lầm này đánh đổi nhau. Giảm α (khó bác bỏ hơn) làm tăng nguy cơ loại II nếu cỡ mẫu không đổi. Muốn giảm cả hai, phải tăng cỡ mẫu.

Hệ quả thực tế:

• α = 0,05 nghĩa là trong 20 thí nghiệm không có hiệu ứng, trung bình có 1 lần báo sai.
• Chạy nhiều thí nghiệm song song làm số dương tính giả tăng theo số phép so sánh.

Một phía và hai phía

• Hai phía: H₁ là "khác" (có thể cao hơn hoặc thấp hơn). Dùng khi chưa biết hướng hoặc cần phát hiện cả tác dụng phụ.
• Một phía: H₁ là "cao hơn". Chỉ dùng khi đã chốt hướng trước khi xem dữ liệu và không quan tâm chiều ngược lại.

Chọn một phía sau khi thấy dữ liệu là gian lận thống kê: nó làm p nhỏ đi khoảng một nửa và tăng dương tính giả. Quy tắc: chốt trước, ghi vào tài liệu thí nghiệm.

Ý nghĩa thống kê và ý nghĩa thực tiễn

Ví dụ: chuyển đổi tăng từ 10,00% lên 10,05%, p < 0,001 với mẫu 10 triệu. Có ý nghĩa thống kê nhưng nếu chi phí triển khai lớn hơn lợi ích, không đáng làm.

Ngược lại, chuyển đổi tăng từ 3% lên 4% trên mẫu nhỏ có thể p = 0,12 — chưa đủ bằng chứng, nhưng nếu hiệu ứng thật thì rất đáng. Kết luận đúng là "cần thêm dữ liệu", không phải "không có hiệu ứng".

Đọc kết quả đúng cách

Một báo cáo kiểm định nên có:

1. Giả thuyết đã chốt trước.
2. Cỡ mẫu mỗi nhóm.
3. Ước lượng hiệu ứng kèm khoảng tin cậy.
4. p-value (không chỉ "có/không ý nghĩa").
5. Quyết định và ngưỡng MDE đã đặt trước.

Thiếu khoảng tin cậy, người đọc không biết hiệu ứng có thể lớn đến đâu hoặc nhỏ đến đâu.

Thực hành

1. Viết H₀ và H₁ cho một thí nghiệm bạn biết.
2. Giải thích p = 0,03 bằng lời của bạn, tránh mọi cách hiểu sai.
3. Nêu một ví dụ ý nghĩa thống kê nhưng không có ý nghĩa thực tiễn.
4. Với α = 0,05, giải thích vì sao 20 thí nghiệm độc lập có thể có một dương tính giả.
5. Chọn một phía hay hai phía cho thí nghiệm giảm giá? Vì sao?

Lỗi thường gặp

Tóm tắt

• H₀ là "không có khác biệt"; p-value là xác suất dữ liệu dưới H₀.
• α kiểm soát sai lầm loại I; power kiểm soát loại II.
• Chọn một hay hai phía trước khi xem dữ liệu.
• Ý nghĩa thống kê không đồng nghĩa đáng hành động.
• Báo cáo hiệu ứng, khoảng tin cậy và cỡ mẫu, không chỉ p.