Bài tập: đọc phễu và retention

Bạn sẽ học được

• Đọc một bộ số liệu phễu và retention cùng lúc.
• Xác định bước rơi lớn nhất và ưu tiên hành động.
• Tính tác động của một cải thiện lên toàn phễu.
• Phân biệt retention chính xác và không giới hạn.
• Nhận ra kết luận sai từ dữ liệu chưa đủ.

Bối cảnh

Ứng dụng mua sắm MuaNhanh vừa hoàn thành quý đầu. Nhóm sản phẩm nhận được bộ số liệu sau và cần quyết định nên cải thiện bước nào.

Phễu 30 ngày (đơn vị: người dùng):

Retention theo tuần (cohort đăng ký tuần 05/01, n = 4.000):

Bổ sung: 30% người dùng chỉ dùng ứng dụng trên điện thoại, 70% chỉ trên máy tính. Chuyển đổi từ thêm giỏ đến hoàn tất trên điện thoại là 38%, trên máy tính là 55%.

Câu hỏi

Câu 1. Tỷ lệ chuyển đổi toàn phễu từ đăng ký đến hoàn tất là bao nhiêu?

Câu 2. Bước nào có tỷ lệ rơi lớn nhất tính theo số người?

Câu 3. Nếu tỷ lệ thêm-giỏ → hoàn-tất tăng từ 50% lên 60%, số người hoàn tất mới là bao nhiêu và tỷ lệ toàn phễu là bao nhiêu?

Câu 4. Nếu thay vào đó tỷ lệ xem-sản-phẩm → thêm-giỏ tăng từ 25% lên 30%, số người hoàn tất là bao nhiêu?

Câu 5. Hai phương án ở câu 3 và câu 4, phương án nào cho nhiều đơn hơn? Điều này nói gì về việc chọn bước để tối ưu?

Câu 6. Chênh lệch chuyển đổi giữa điện thoại (38%) và máy tính (55%) gợi ý hành động gì? Cần kiểm tra thêm gì trước khi kết luận?

Câu 7. Retention tuần 4 là 18%. Nếu định nghĩa đổi sang "hoạt động từ tuần 4 trở đi" (không giới hạn), con số sẽ cao hơn hay thấp hơn? Vì sao?

Câu 8. Nhìn chuỗi 40% → 25% → 20% → 18%, bạn kết luận gì về sản phẩm? Có thiếu thông tin gì để kết luận chắc chắn không?

Câu 9. Một đồng nghiệp nói: "Điện thoại chuyển đổi thấp, chắc do người dùng điện thoại ít quan tâm mua sắm." Cách lập luận này có vấn đề gì?

Câu 10. Nhóm chỉ có 4 tuần dữ liệu retention. Có nên công bố "retention dài hạn của MuaNhanh là 18%"? Vì sao?

Đáp án và giải thích

Câu 1. 1.500 / 20.000 = 7,5%. Cũng có thể tính bằng tích các bước: 60% × 25% × 50% = 7,5%.

Câu 2. Xem → thêm giỏ: 12.000 − 3.000 = 9.000 người rơi (75% của bước). Các bước khác: đăng ký → xem rơi 8.000; thêm giỏ → hoàn tất rơi 1.500. Đây là bước rơi lớn nhất cả về số tuyệt đối lẫn tỷ lệ.

Câu 3. 3.000 × 60% = 1.800 đơn. Tỷ lệ toàn phễu = 1.800 / 20.000 = 9,0%. Tăng 1,5 điểm phần trăm, tương đương +20% tương đối.

Câu 4. 12.000 × 30% = 3.600 người thêm giỏ; 3.600 × 50% = 1.800 đơn. Tỷ lệ toàn phễu cũng là 9,0%.

Câu 5. Hai phương án cho cùng số đơn. Điểm mấu chốt: cải thiện 5 điểm phần trăm ở bước có ít người đi qua (thêm giỏ: 3.000 người) tạo ra 300 đơn; cải thiện 5 điểm phần trăm ở bước có nhiều người đi qua (xem sản phẩm: 12.000 người) tạo ra 600 người thêm giỏ, và sau đó 300 đơn. Vì vậy không chọn bước chỉ theo tỷ lệ rơi — phải tính tác động tuyệt đối lên chỉ số cuối. Ở đây hai bước tương đương về tác động, nên chọn theo chi phí và độ khả thi.

Câu 6. Gợi ý kiểm tra trải nghiệm thanh toán trên điện thoại: biểu mẫu dài, bàn phím che trường nhập, phương thức thanh toán thiếu, tốc độ tải. Trước khi kết luận, cần kiểm tra: cỡ mẫu từng nhóm, sự khác biệt về tệp người dùng (người dùng điện thoại có thể mới hơn), và liệu chênh lệch có ổn định qua các tuần hay chỉ do nhiễu.

Câu 7. Cao hơn. "Từ tuần 4 trở đi" đếm cả người hoạt động ở tuần 5, 6, 7… nên luôn lớn hơn hoặc bằng retention đúng tuần 4. Hai định nghĩa không so sánh được nếu không ghi rõ.

Câu 8. Đường cong giảm dần rồi chậm lại, gợi ý có một nhóm người dùng cốt lõi khoảng 18% và có thể sẽ phẳng hơn. Nhưng chưa đủ dữ liệu: 4 tuần là quá ngắn để khẳng định điểm phẳng; cần thêm 4–8 tuần, và cần so nhiều cohort để biết xu hướng thật hay chỉ là đặc thù một tuần.

Câu 9. Đây là kết luận nhân quả từ tương quan, và còn là lập luận vòng tròn về động cơ. Dữ liệu chỉ cho thấy chuyển đổi khác nhau; nguyên nhân có thể là trải nghiệm thanh toán, tốc độ, phương thức thanh toán, hoặc khác biệt về tệp người dùng. Muốn biết nguyên nhân phải kiểm tra dữ liệu hành vi và làm thử nghiệm, không suy ra từ suy đoán về thái độ.

Câu 10. Không nên. Bốn tuần chưa cho thấy điểm phẳng; con số 18% có thể còn giảm tiếp. Công bố một con số dài hạn từ dữ liệu ngắn tạo kỳ vọng sai và dễ phải rút lại. Nên nói: "retention tuần 4 của cohort 05/01 là 18%, chưa đủ dữ liệu để kết luận dài hạn."

Bài học rút ra

• Tỷ lệ toàn phễu là tích các bước, không phải trung bình.
• Chọn bước tối ưu theo tác động tuyệt đối lên chỉ số cuối, không chỉ theo tỷ lệ rơi.
• Hai cải thiện cùng điểm phần trăm ở hai bước khác nhau có thể cho cùng kết quả — hoặc rất khác.
• Khác biệt giữa nhóm cần kiểm tra cỡ mẫu và cấu trúc tệp trước khi kết luận.
• Retention chính xác và không giới hạn là hai chỉ số khác nhau.
• Đường cong chưa phẳng nghĩa là chưa kết luận được.
• Tương quan không phải nhân quả; muốn chắc phải thử nghiệm.