Nhiều chỉ số và vấn đề đa so sánh

Bạn sẽ học được

• Vì sao càng nhiều chỉ số càng dễ có dương tính giả.
• Cách tính xác suất ít nhất một kết quả sai.
• Bonferroni và FDR — khi nào dùng cách nào.
• Phân tầng chỉ số: chính, phụ, bảo vệ.
• Cách xử lý khi phân tích theo phân khúc.

Khái niệm cốt lõi

Mỗi kiểm định ở α = 0,05 có 5% khả năng báo sai khi không có hiệu ứng. Chạy nhiều kiểm định độc lập thì xác suất ít nhất một lần báo sai là:

P(ít nhất một dương tính giả) = 1 − (1 − α)^m

Với α = 0,05:

Hai mươi chỉ số trong một bảng kết quả gần như chắc chắn có ít nhất một dòng "có ý nghĩa" dù can thiệp không làm gì. Đây là vấn đề đa so sánh.

Chỉ số chính, phụ và bảo vệ

Cách kiểm soát tốt nhất không phải là toán, mà là phân cấp trước khi chạy:

Nếu chỉ số chính không đạt, các chỉ số phụ "có ý nghĩa" không cứu được thí nghiệm. Ngược lại, một chỉ số phụ xấu đi có thể là dấu hiệu cơ chế bất thường cần xem lại.

Bonferroni

Cách đơn giản nhất: chia α cho số kiểm định.

α hiệu chỉnh = 0,05 / m

Với 10 chỉ số: ngưỡng là 0,005. Với 20 chỉ số: 0,0025.

Ưu điểm: dễ hiểu, kiểm soát chặt xác suất có bất kỳ dương tính giả nào (FWER).

Nhược điểm: bảo thủ. Với nhiều chỉ số, power giảm mạnh — hiệu ứng thật có thể bị bỏ sót. Vì vậy Bonferroni phù hợp khi số kiểm định nhỏ và cái giá của một kết luận sai cao.

FDR (Benjamini–Hochberg)

Thay vì kiểm soát xác suất có bất kỳ sai nào, FDR kiểm soát tỷ lệ kết luận sai trong số các kết luận dương.

Quy trình gọn:

1. Sắp xếp p-value tăng dần: p₁ ≤ p₂ ≤ … ≤ p_m.
2. Tìm k lớn nhất sao cho p_k ≤ (k/m) × q, với q thường 0,05 hoặc 0,10.
3. Bác bỏ tất cả các giả thuyết từ 1 đến k.

Ví dụ với 10 chỉ số và q = 0,10: chỉ số có p nhỏ nhất cần ≤ 0,01; p thứ hai ≤ 0,02; … ; p thứ mười ≤ 0,10.

FDR ít bảo thủ hơn Bonferroni, phù hợp khi khám phá nhiều chỉ số và chấp nhận một tỷ lệ nhỏ kết luận sai. Với thí nghiệm ra quyết định, nên giữ chỉ số chính và Bonferroni cho phần còn lại.

Phân tích theo phân khúc

Cắt kết quả theo 16 phân khúc (4 khu vực × 4 nhóm tuổi) rồi tìm phân khúc "thắng" là cách phổ biến để tạo câu chuyện đẹp:

• Với 16 phân khúc, xác suất ít nhất một phân khúc có p < 0,05 do ngẫu nhiên là 1 − 0,95¹⁶ ≈ 56%.
• Phân khúc thắng tìm được sau khi xem dữ liệu thường không lặp lại ở lần chạy sau.

Cách xử lý đúng:

1. Chốt trước danh sách phân khúc cần xem (ví dụ: chỉ theo thiết bị).
2. Hiệu chỉnh p theo số phân khúc đã chốt.
3. Coi phân khúc khám phá là giả thuyết mới, cần thí nghiệm riêng để xác nhận.
4. Không dùng phân khúc khám phá để tuyên bố thành công.

Chỉ số bảo vệ không dùng p-value

Với chỉ số bảo vệ, nên dùng ngưỡng tuyệt đối thay vì kiểm định:

• Tỷ lệ lỗi không vượt 2%.
• Thời gian tải P95 không tăng quá 200ms.
• Tỷ lệ huỷ không tăng quá 0,5 điểm phần trăm.

Lý do: chỉ số bảo vệ dùng để ngăn tác hại, không phải để chứng minh lợi ích. Ngưỡng tuyệt đối dễ đọc và không bị ảnh hưởng bởi cỡ mẫu.

Ghi chép trước khi phân tích

Tài liệu phân tích, viết trước khi mở dữ liệu:

Chỉ số chính: tỷ lệ chuyển đổi thanh toán
Chỉ số phụ: số sản phẩm/đơn, thời gian hoàn tất
Chỉ số bảo vệ: tỷ lệ lỗi thanh toán (ngưỡng 2%), P95 tải (ngưỡng +200ms)
Phân khúc chốt trước: thiết bị (mobile/desktop)
Hiệu chỉnh: Bonferroni cho 2 phân khúc (α = 0,025)
Phân khúc khám phá: không dùng để kết luận

Thực hành

1. Tính xác suất ít nhất một dương tính giả cho 8 kiểm định.
2. Với 12 chỉ số, tính ngưỡng Bonferroni.
3. Áp dụng quy trình FDR cho 5 p-value: 0,004; 0,012; 0,03; 0,06; 0,2 với q = 0,10.
4. Viết tài liệu phân tích cho một thí nghiệm bạn biết.
5. Giải thích vì sao "phân khúc thắng" không nên dùng để tuyên bố thành công.

Lỗi thường gặp

Tóm tắt

• Nhiều kiểm định làm dương tính giả tăng nhanh: 10 chỉ số ≈ 40%, 20 chỉ số ≈ 64%.
• Chốt một chỉ số chính trước khi chạy.
• Bonferroni chia α cho số kiểm định; FDR kiểm soát tỷ lệ sai trong các kết luận dương.
• Phân khúc khám phá là giả thuyết, không phải bằng chứng.
• Chỉ số bảo vệ dùng ngưỡng tuyệt đối, không dùng p-value.