Đọc kết quả có ngữ cảnh

Bạn sẽ học được

• Vì sao một con số chưa đủ để kết luận.
• Ảnh hưởng của mùa vụ và xu hướng dài hạn.
• Cỡ mẫu nhỏ làm kết quả dao động mạnh.
• Hiện tượng hồi quy về trung bình.
• Cách báo cáo kèm khoảng bất định thay vì một con số tuyệt đối.

Khái niệm cốt lõi

Một con số luôn cần ngữ cảnh: so với cái gì, trong bao lâu, trên bao nhiêu quan sát, và có yếu tố ngoài nào cùng lúc. Bốn bẫy hay gặp nhất:

1. Mùa vụ — tháng 12 cao hơn tháng 11 có thể do Tết, không do chiến dịch.
2. Xu hướng — so sánh tháng này với tháng trước bỏ qua việc cả năm đang tăng đều.
3. Cỡ mẫu nhỏ — 3/10 khác 30/100 rất nhiều về độ tin cậy dù cùng 30%.
4. Hồi quy về trung bình — nhóm cao bất thường ở kỳ trước thường thấp hơn ở kỳ sau, kể cả không có can thiệp.

Mùa vụ và xu hướng

Ba cách so sánh, mỗi cách trả lời một câu khác nhau:

Cách thứ ba hữu ích nhất khi dữ liệu có mùa vụ rõ. Ví dụ, doanh thu tháng 2 thấp hơn tháng 1 là bình thường nếu Tết rơi vào tháng 2; câu hỏi đúng là tháng 2 năm nay so với tháng 2 các năm trước.

Với dữ liệu theo tuần, so cùng thứ trong tuần. Với dữ liệu theo ngày, so cùng ngày trong tuần trước — thứ bảy luôn khác thứ ba.

Cỡ mẫu và khoảng bất định

Một tỷ lệ trên mẫu nhỏ không đáng tin như con số giống hệt trên mẫu lớn. Ví dụ 3 khách chuyển đổi trên 100 khách (3%) có khoảng tin cậy 95% xấp xỉ 1,0% đến 8,5% theo phương pháp Wilson. Nghĩa là dữ liệu vẫn tương thích với tỷ lệ thật thấp hơn 1% hoặc cao gần 9%.

Hệ quả thực tế:

• Đừng kết luận "tỷ lệ 3% thấp hơn mục tiêu 5%" khi khoảng tin cậy còn chứa 5%.
• Đừng so hai nhóm có 20–30 người và tuyên bố nhóm này hơn nhóm kia nếu chênh lệch nhỏ.
• Khi báo cáo, ghi kèm số quan sát: "3,0% (n = 100)", không chỉ "3,0%".

Quy tắc thô: với tỷ lệ quanh 50%, sai số chuẩn khoảng 0,5 / √n. Với n = 100, sai số khoảng 5 điểm phần trăm; với n = 1.000, khoảng 1,6 điểm. Muốn giảm sai số một nửa, cần mẫu lớn gấp bốn.

Hồi quy về trung bình

Chọn 10 cửa hàng có doanh thu cao nhất tháng này, tháng sau phần lớn sẽ thấp hơn — kể cả không ai can thiệp. Lý do: kết quả cao thường gồm cả năng lực và may mắn; may mắn không lặp lại.

Điều này giải thích nhiều kết luận sai:

• "Sau khi huấn luyện, nhóm yếu nhất tiến bộ rõ" — một phần là hồi quy, không phải huấn luyện.
• "Chiến dịch giúp nhóm khách hàng kém quay lại" — nhóm kém có xu hướng tự cải thiện.
• "Cửa hàng được khen thưởng tháng trước lại tụt" — không phải do khen thưởng.

Cách chống: có nhóm đối chứng, hoặc so nhóm can thiệp với nhóm không can thiệp có cùng mức nền.

Cách báo cáo có ngữ cảnh

Một báo cáo tốt trả lời được:

• Con số: 3,0% (n = 100).
• So với: 3,8% cùng kỳ tháng trước, 3,2% trung bình ba tháng.
• Khoảng bất định: 1,0%–8,5%.
• Yếu tố cùng lúc: chiến dịch Tết, thay đổi giá, sự cố thanh toán.
• Kết luận: "Chưa đủ bằng chứng để nói tỷ lệ giảm; mẫu nhỏ và khoảng tin cậy rộng."

Kết luận "chưa đủ bằng chứng" là kết quả hợp lệ, không phải thất bại. Nó ngăn một quyết định đắt dựa trên nhiễu.

Thực hành

1. Với một chỉ số có mùa vụ, viết ba cách so sánh và nêu cách bạn chọn.
2. Tính sai số thô cho tỷ lệ 20% với n = 50 và n = 500.
3. Nêu một ví dụ hồi quy về trung bình trong công việc của bạn.
4. Viết lại một kết luận cũ để thêm số quan sát và khoảng bất định.
5. Kiểm tra một báo cáo: nó có nói mốc so sánh và cỡ mẫu chưa?

Lỗi thường gặp

Tóm tắt

• Một con số cần mốc so sánh, cỡ mẫu và ngữ cảnh.
• So cùng kỳ năm trước tốt hơn so tháng trước khi có mùa vụ.
• Mẫu nhỏ cho khoảng tin cậy rộng; báo kèm n.
• Hồi quy về trung bình giải thích nhiều "cải thiện" giả.
• "Chưa đủ bằng chứng" là kết luận hợp lệ.