Bài tập: đọc một kết quả A/B

Bạn sẽ học được

• Đọc một báo cáo A/B hoàn chỉnh theo từng bước.
• Kiểm tra thiết kế, SRM và chỉ số bảo vệ trước khi đọc p-value.
• Tính chênh lệch, khoảng tin cậy và kết luận.
• Nhận ra các lỗi diễn giải phổ biến.
• Viết kết luận có thể hành động.

Đề bài

Một đội sản phẩm chạy thí nghiệm đổi nút "Thanh toán" thành nút lớn, màu đậm hơn, đặt cố định ở cuối trang giỏ hàng.

Thiết kế đã chốt trước:

Đơn vị: người dùng, chia 50/50
Chỉ số chính: tỷ lệ hoàn tất thanh toán trong 7 ngày
MDE: +1,5 điểm phần trăm (từ nền 12%)
Cỡ mẫu: 8.000 mỗi nhóm
Thời gian: 14 ngày
Chỉ số bảo vệ: tỷ lệ lỗi thanh toán (ngưỡng 2%), P95 thời gian tải trang giỏ (ngưỡng +200ms)
Quy tắc dừng: đọc một lần ở ngày 14

Kết quả:

Chỉ số bảo vệ: lỗi thanh toán A = 0,9%, B = 1,0%; P95 tải A = 1,4s, B = 1,5s.

Tỷ lệ chia nhóm: A = 8.000, B = 8.000. Không có sự cố trong kỳ.

Câu 1 — Kiểm tra thiết kế trước khi đọc số

Những điểm nào đã được chốt trước và vì sao quan trọng?

Trả lời: Đơn vị chia, chỉ số chính, MDE, cỡ mẫu, thời gian và quy tắc dừng đều có trước. Nhờ vậy không thể đổi chỉ số hay dừng sớm để có kết quả đẹp. Đây là điều kiện để kết quả dùng được cho quyết định.

Câu 2 — Kiểm tra SRM

Hai nhóm đúng 8.000/8.000 trên tổng 16.000. Có vấn đề phân bổ không?

Trả lời: Không. Tỷ lệ chính xác 50/50, không có dấu hiệu SRM. Bước tiếp theo là xem chỉ số bảo vệ.

Câu 3 — Kiểm tra chỉ số bảo vệ

Lỗi thanh toán 0,9% so với 1,0%; P95 tải 1,4s so với 1,5s.

Trả lời: Cả hai đều dưới ngưỡng đã chốt (2% và +200ms). Thay đổi không gây hại rõ ràng. Có thể tiếp tục đọc kết quả chính.

Câu 4 — Tính chênh lệch và khoảng tin cậy

Trả lời:

p₁ = 0,120, p₂ = 0,135
Chênh lệch = +1,5 điểm phần trăm
SE = √(0,12×0,88/8000 + 0,135×0,865/8000) ≈ 0,00527
CI 95% = 0,015 ± 1,96×0,00527 ≈ [0,47; 2,53] điểm phần trăm

Khoảng tin cậy hoàn toàn dương: +0,47 đến +2,53 điểm phần trăm.

Câu 5 — Kiểm định

Tỷ lệ gộp = 2.040/16.000 = 12,75%. SE gộp ≈ 0,00527; z ≈ 2,84; p ≈ 0,0045.

Trả lời: p = 0,0045 < 0,05, bác bỏ H₀. Kết hợp với CI không chứa 0, kết luận: có bằng chứng B cao hơn A.

Câu 6 — So với MDE

MDE đã chốt là +1,5 điểm phần trăm. Ước lượng đúng bằng 1,5 điểm, đầu dưới CI là +0,47.

Trả lời: Ước lượng đạt MDE, nhưng khoảng tin cậy cho thấy hiệu ứng thật có thể chỉ khoảng +0,5 điểm — dưới ngưỡng đáng làm. Đây là trường hợp "có ý nghĩa thống kê, chưa chắc đủ ý nghĩa thực tiễn". Cách nói đúng: "có bằng chứng về hiệu ứng dương; hiệu ứng thật nhiều khả năng nằm trong khoảng 0,5–2,5 điểm, cần cân nhắc chi phí triển khai".

Câu 7 — Lift tương đối

Tính phần trăm tương đối.

Trả lời: 13,5% / 12,0% − 1 = +12,5% tương đối, tương ứng +1,5 điểm phần trăm tuyệt đối. Phải ghi rõ loại nào khi báo cáo.

Câu 8 — Kết luận và khuyến nghị

Viết kết luận 3 câu và một khuyến nghị.

Trả lời mẫu:

Thí nghiệm đủ mẫu, đúng thiết kế, không có SRM, chỉ số bảo vệ trong ngưỡng. Nhóm B có tỷ lệ hoàn tất thanh toán 13,5% so với 12,0%, chênh +1,5 điểm phần trăm (CI 95%: +0,47 đến +2,53; p = 0,0045). Có bằng chứng hiệu ứng dương, nhưng đầu dưới khoảng tin cậy chỉ +0,47 điểm nên lợi ích thực tế có thể nhỏ hơn kỳ vọng.

Khuyến nghị: triển khai cho toàn bộ người dùng và theo dõi thêm 2 tuần; nếu tỷ lệ chuyển đổi giữ ở mức ≥ +1 điểm phần trăm thì giữ thay đổi, nếu không thì cân nhắc lại.

Câu 9 — Phát hiện lỗi diễn giải

Các câu sau sai ở đâu?

1. "p = 0,0045 nghĩa là 99,55% khả năng B tốt hơn A."
2. "Chuyển đổi tăng 12,5% nghĩa là tăng 12,5 điểm phần trăm."
3. "Kết quả đúng cho mọi phân khúc người dùng."
4. "Có thể dừng thí nghiệm ở ngày 8 vì đã thấy p < 0,05."

Trả lời:

1. Sai. p-value không phải xác suất giả thuyết đúng; nó là xác suất dữ liệu cực đoan dưới H₀.
2. Sai. 12,5% là tương đối; tuyệt đối là 1,5 điểm phần trăm.
3. Sai. Kết quả là trung bình toàn bộ; phân khúc cần phân tích riêng và hiệu chỉnh đa so sánh.
4. Sai. Dừng sớm theo kết quả làm tăng dương tính giả; thiết kế đã chốt đọc một lần ở ngày 14.

Câu 10 — Nếu kết quả khác đi

Giả sử B = 1.008/8.000 (12,6%) thay vì 1.080. Kết luận thay đổi thế nào?

Trả lời: Chênh lệch +0,6 điểm phần trăm, CI 95% khoảng −0,42 đến +1,62, p ≈ 0,25. Chưa đủ bằng chứng; hiệu ứng có thể từ âm nhẹ đến dương vừa. Không được kết luận "không có hiệu ứng" — chỉ được nói "chưa đủ bằng chứng ở cỡ mẫu này".

Tự kiểm tra

1. Vì sao phải kiểm tra SRM trước p-value?
2. Chênh lệch +1,5 điểm phần trăm là bao nhiêu phần trăm tương đối?
3. Khi CI chứa 0, được và không được kết luận gì?
4. Vì sao đầu dưới CI quan trọng với quyết định triển khai?
5. Nêu hai lỗi diễn giải p-value thường gặp.

Tóm tắt

• Đọc theo thứ tự: thiết kế → SRM → guardrail → hiệu ứng/CI → p → quyết định.
• Có ý nghĩa thống kê chưa chắc vượt MDE.
• Báo cáo kèm cả điểm phần trăm và phần trăm tương đối.
• Kết luận phải nêu độ bất định, không chỉ con số điểm.
• Không đổi quy tắc dừng sau khi đã thấy dữ liệu.