Phân phối và độ biến thiên

Bạn sẽ học được

• Vì sao trung bình chưa đủ mô tả dữ liệu.
• Độ lệch chuẩn, phân vị và hình dạng phân phối.
• Cách nhận biết phân phối lệch và đuôi dài.
• Ảnh hưởng của ngoại lai lên từng thống kê.
• Cách chọn thống kê tóm tắt phù hợp để báo cáo.

Khái niệm cốt lõi

Một phân phối cho biết giá trị tập trung ở đâu và trải rộng bao nhiêu. Ba câu hỏi cần trả lời:

1. Trung tâm: giá trị điển hình là bao nhiêu? (trung bình, trung vị)
2. Độ biến thiên: các giá trị cách trung tâm bao xa? (độ lệch chuẩn, khoảng tứ phân vị)
3. Hình dạng: đối xứng, lệch trái, lệch phải, có đuôi dài? (histogram, phân vị)

Trung bình chỉ là câu trả lời cho câu 1, và chỉ đáng tin khi phân phối tương đối đối xứng, không có ngoại lai lớn.

Trung bình và trung vị

Xét thu nhập của 5 người: 5, 6, 7, 8, 100 (triệu đồng/tháng).

• Trung bình = (5 + 6 + 7 + 8 + 100) / 5 = 25,2 triệu.
• Trung vị = 7 triệu.

Một người thu nhập 100 kéo trung bình lên gấp hơn ba lần trung vị. Báo cáo "thu nhập trung bình 25,2 triệu" đúng về số học nhưng mô tả sai trải nghiệm của bốn trong năm người.

Với dữ liệu lệch phải (thu nhập, giá trị đơn, thời gian xử lý), trung vị thường là "giá trị điển hình" tốt hơn.

Độ biến thiên

Hai nhóm có cùng trung bình vẫn có thể rất khác:

• Nhóm A: 48, 49, 50, 51, 52 → trung bình 50, độ lệch chuẩn nhỏ.
• Nhóm B: 10, 30, 50, 70, 90 → trung bình 50, độ lệch chuẩn lớn.

Chỉ nhìn trung bình sẽ bỏ qua khác biệt về độ ổn định. Độ lệch chuẩn (SD) đo mức phân tán trung bình quanh trung bình; khoảng tứ phân vị (IQR = Q3 − Q1) đo độ trải của 50% giữa và ít bị ngoại lai ảnh hưởng.

Quy tắc thực dụng:

• Báo cáo trung bình kèm SD khi phân phối đối xứng.
• Báo cáo trung vị kèm IQR khi phân phối lệch hoặc có ngoại lai.
• Luôn kèm n — SD trên 5 quan sát không đáng tin như trên 5.000.

Phân phối lệch và đuôi dài

Lệch phải (đuôi dài bên phải): phần lớn giá trị nhỏ, một ít rất lớn. Ví dụ doanh thu mỗi khách, thời gian xử lý ticket. Trung bình > trung vị.

Lệch trái: phần lớn giá trị lớn, một ít rất nhỏ. Ví dụ điểm thi dễ. Trung bình < trung vị.

Đuôi dài: một tỷ lệ nhỏ khách hàng tạo phần lớn doanh thu. Đây là hiện tượng phổ biến trong thương mại điện tử và nội dung. Hệ quả:

• Trung bình bị chi phối bởi nhóm nhỏ.
• "Khách hàng trung bình" có thể không tồn tại.
• Nên báo cáo thêm phân vị (P50, P90, P99) thay vì chỉ trung bình.

Ví dụ báo cáo thời gian phản hồi hỗ trợ: P50 = 2 giờ, P90 = 20 giờ, P99 = 3 ngày. Ba con số này kể câu chuyện đầy đủ hơn "trung bình 6 giờ".

Ngoại lai

Ngoại lai là giá trị cách xa phần còn lại. Không phải lúc nào cũng là lỗi:

• Lỗi nhập liệu: tuổi 200, giá âm, số lượng 1.000.000.
• Giá trị thật hiếm: khách doanh nghiệp mua số lượng lớn.
• Đơn vị sai: giá nhập bằng đồng thay vì nghìn đồng.

Trước khi loại, phải hiểu nguyên nhân. Loại ngoại lai thật có thể che mất nhóm khách quan trọng; giữ ngoại lai do lỗi làm hỏng mọi thống kê. Cách xử lý:

1. Kiểm tra bản ghi gốc.
2. Nếu là lỗi, sửa hoặc loại và ghi log.
3. Nếu là thật, giữ và báo cáo riêng hoặc dùng thống kê bền vững.

Thực hành

1. Tính trung bình và trung vị của [5, 6, 7, 8, 100].
2. Vẽ histogram doanh thu mỗi đơn và nhận xét hình dạng.
3. Tính P50, P90, P99 thời gian từ đặt đến giao (nếu có dữ liệu).
4. So sánh SD của hai nhóm có cùng trung bình nhưng khác độ trải.
5. Tìm ba ngoại lai trong dữ liệu và phân loại lỗi/thật.

Lỗi thường gặp

Tóm tắt

• Trung bình, độ biến thiên và hình dạng là ba câu hỏi khác nhau.
• Trung vị bền vững hơn trung bình với dữ liệu lệch.
• Phân phối đuôi dài cần báo cáo phân vị.
• Ngoại lai phải được hiểu trước khi loại.
• Luôn báo cáo kèm n và đơn vị.