Khoảng tin cậy và cỡ mẫu

Bạn sẽ học được

• Khoảng tin cậy là gì và vì sao cần báo cáo nó.
• Cách tính khoảng tin cậy cho chênh lệch hai tỷ lệ.
• Mối liên hệ giữa khoảng tin cậy, cỡ mẫu và p-value.
• Cách chọn cỡ mẫu từ MDE.
• Cách đọc khoảng tin cậy khi đưa ra quyết định.

Khái niệm cốt lõi

Khoảng tin cậy 95% là khoảng mà nếu lặp lại thí nghiệm nhiều lần, khoảng tính được sẽ chứa giá trị thật trong khoảng 95% số lần. Nó cho biết độ chính xác của ước lượng, không chỉ một con số điểm.

Với chênh lệch hai tỷ lệ:

SE = √(p₁(1 − p₁)/n₁ + p₂(1 − p₂)/n₂)
CI 95% = (p₁ − p₂) ± 1,96 × SE

Ví dụ: nhóm B có 120/1.000 = 12%, nhóm A có 100/1.000 = 10%.

p₁ − p₂ = 0,02
SE = √(0,12×0,88/1000 + 0,10×0,90/1000)
   = √(0,0001056 + 0,00009)
   ≈ 0,0140
CI = 0,02 ± 1,96×0,0140
   = 0,02 ± 0,0274
   ≈ [−0,0074; 0,0474]

Đọc kết quả:

• Chênh lệch ước lượng: +2,0 điểm phần trăm.
• Khoảng tin cậy: −0,74 đến +4,74 điểm phần trăm.
• Khoảng chứa 0 → chưa đủ bằng chứng để nói B khác A ở mức 5%.
• Nhưng khoảng cũng cho thấy hiệu ứng thật có thể lên tới gần +4,7 điểm — không phải "không có gì".

Đây là lý do không nên chỉ báo cáo "p = 0,15, không có khác biệt". Cách nói đúng: "chưa đủ bằng chứng; hiệu ứng có thể từ −0,7 đến +4,7 điểm".

Khoảng tin cậy và p-value

Hai công cụ trả lời cùng một câu hỏi theo hai cách:

• Nếu khoảng tin cậy 95% không chứa 0, kiểm định hai phía ở α = 0,05 sẽ có p < 0,05 (xấp xỉ).
• Nếu khoảng chứa 0, p > 0,05.

Khoảng tin cậy hữu ích hơn vì cho biết cả độ lớn lẫn độ bất định. p-value chỉ cho một con số và dễ bị hiểu sai.

Khi báo cáo, nên có cả hai: "chênh lệch +2,0 điểm (CI 95%: −0,7 đến +4,7; p = 0,15)".

Cỡ mẫu từ MDE

Cỡ mẫu phụ thuộc vào hiệu ứng muốn phát hiện. Với hai tỷ lệ, α = 0,05, power 80%:

n mỗi nhóm ≈ 16 × p(1 − p) / Δ²

Ví dụ p = 10%:

Bảng này giải thích vì sao thí nghiệm nhỏ chỉ phát hiện được hiệu ứng lớn. Nếu thay đổi thật sự chỉ tăng 1 điểm phần trăm, thí nghiệm 3.600 người mỗi nhóm sẽ thường xuyên bỏ sót.

Cỡ mẫu cũng phụ thuộc tỷ lệ nền: p gần 50% cho phương sai lớn nhất và cần mẫu lớn nhất. Với p = 50%, MDE 2 điểm cần khoảng 16 × 0,25 / 0,0004 = 10.000 mỗi nhóm.

Đọc khoảng tin cậy khi quyết định

Ba tình huống:

1. CI nằm hoàn toàn trên 0 và dưới MDE: hiệu ứng dương nhưng nhỏ hơn ngưỡng đáng làm. Có thể bỏ qua.
2. CI nằm hoàn toàn trên MDE: đủ bằng chứng và đủ lớn. Triển khai.
3. CI rộng, cắt qua 0: chưa kết luận. Cần thêm mẫu hoặc chấp nhận rủi ro.

Ngoài ra, cần xem phía bất lợi: nếu CI dưới là −3 điểm, khả năng gây hại không nhỏ. Quyết định không chỉ dựa vào điểm giữa.

Khoảng tin cậy cho trung bình

Với chỉ số liên tục (doanh thu mỗi người, thời gian), công thức tương tự:

CI 95% = trung bình ± 1,96 × SD / √n

Nếu doanh thu mỗi người có SD rất lớn (phân phối đuôi dài), khoảng tin cậy rộng ngay cả với n lớn. Khi đó có thể:

• Dùng log hoặc cắt ngoại lai có chủ đích (ghi rõ).
• Báo cáo thêm trung vị và phân vị.
• Tăng cỡ mẫu — nhưng chi phí tăng nhanh vì CI tỷ lệ nghịch với √n.

Thực hành

1. Tính CI cho 120/1.000 so với 100/1.000.
2. Giải thích vì sao khoảng chứa 0 chưa đủ kết luận "không có hiệu ứng".
3. Dùng bảng cỡ mẫu để chọn n cho MDE 1,5 điểm ở p = 10%.
4. Với một chỉ số liên tục, ước lượng CI từ trung bình, SD, n.
5. Viết một câu kết luận có cả hiệu ứng, CI và quyết định.

Lỗi thường gặp

Tóm tắt

• CI cho biết độ chính xác của ước lượng, không chỉ một con số.
• CI chứa 0 tương ứng chưa đủ bằng chứng, không phải "không có hiệu ứng".
• Báo cáo hiệu ứng + CI + p + n.
• Cỡ mẫu tỷ lệ nghịch với bình phương MDE.
• Khi quyết định, đọc cả hai đầu khoảng, đặc biệt phía bất lợi.