TheoryLesson 6/86 min read+10 XP

Đo lường tăng dần

Bạn sẽ học được

Vì sao quy công không đo được tác động thật của quảng cáo.
Khái niệm tác động tăng dần (incrementality) và ROAS tăng dần.
Năm phương pháp đo tác động tăng dần.
Thiết kế một thử nghiệm holdout cơ bản.
Đọc kết quả và tránh kết luận sai.

Khái niệm cốt lõi

Quy công trả lời: "kênh này có mặt trong hành trình mua không?".

Tác động tăng dần trả lời: "nếu không có kênh này, đơn hàng có xảy ra không?".

Hai câu hỏi khác nhau. Một người vốn đã định mua, gõ tên thương hiệu vào Google, bấm quảng cáo rồi mua — quảng cáo được quy công cho đơn đó, nhưng nếu không có quảng cáo, người ấy vẫn mua. Phần đơn hàng "sẽ xảy ra dù sao" là không tăng dần.

ROAS tăng dần:

code

ROAS tăng dần = doanh thu tăng thêm do quảng cáo / chi phí quảng cáo

Doanh thu tăng thêm chỉ là phần đơn hàng xuất hiện nhờ quảng cáo. Con số này luôn nhỏ hơn hoặc bằng doanh thu được quy công.

Ví dụ

Một chiến dịch Facebook:

Chi phí: 1.500.000.000 đồng.
Đơn được quy công: 18.000.
Giá trị đơn trung bình: 500.000 đồng.
Doanh thu quy công: 9.000.000.000 đồng.
ROAS báo cáo: 9.000 / 1.500 = 6,0.

Thử nghiệm holdout trên cùng tệp:

90% người dùng thấy quảng cáo: tỷ lệ chuyển đổi 2,0%.
10% người dùng không thấy quảng cáo: tỷ lệ chuyển đổi 1,0%.
Chênh lệch: 1,0 điểm phần trăm.

Số đơn tăng thêm do quảng cáo = 1,0% × 900.000 người trong nhóm thấy quảng cáo = 9.000 đơn.

code

ROAS tăng dần = (9.000 × 500.000) / 1.500.000.000
              = 4.500.000.000 / 1.500.000.000
              = 3,0

Báo cáo nói 6,0; thực tế 3,0. Một nửa doanh thu được quy công là đơn hàng vốn sẽ xảy ra.

Nếu biên lợi nhuận gộp là 35%, ROAS hoà vốn là 1/0,35 = 2,86. ROAS tăng dần 3,0 vẫn có lãi — nhưng mỏng hơn nhiều so với cảm giác "6,0 rất tốt".

Năm phương pháp đo

Phương pháp	Cách làm	Dùng khi
Holdout người dùng	Chia ngẫu nhiên, nhóm đối chứng không thấy quảng cáo	Kênh số, tệp đủ lớn
Geo lift	Chọn vùng đối chứng, so chênh lệch giữa vùng	Không chia được theo người
Switchback	Bật/tắt quảng cáo theo thời kỳ luân phiên	Thị trường hai chiều
PSA	Thay quảng cáo bằng thông báo công ích cùng vị trí	Không thể bỏ quảng cáo hẳn
Mô hình marketing mix	Hồi quy chuỗi thời gian theo kênh	Ngân sách lớn, nhiều kênh

Thiết kế holdout

Năm bước:

Chọn đơn vị chia: người dùng, thiết bị, hoặc vùng. Đơn vị phải chia được ngẫu nhiên và không bị ảnh hưởng chéo.
Chọn tỷ lệ holdout: 5–10% là phổ biến. Quá nhỏ thì không đủ mẫu để phát hiện chênh lệch.
Chạy đủ lâu: tối thiểu một chu kỳ mua, thường 2–4 tuần. Quá ngắn sẽ bắt được hiệu ứng mới lạ.
Đo tỷ lệ chuyển đổi trên mỗi người, không đo tổng đơn — vì hai nhóm có kích thước khác nhau.
Kiểm tra nhiễm chéo: nhóm holdout có thấy quảng cáo qua kênh khác không? Nếu có, chênh lệch bị thu nhỏ và tác động thật bị đánh giá thấp.

Cỡ mẫu: nếu tỷ lệ chuyển đổi nền khoảng 1% và muốn phát hiện chênh lệch 0,2 điểm phần trăm, cần hàng chục nghìn người mỗi nhóm. Với tệp nhỏ, chỉ phát hiện được chênh lệch lớn.

Đọc kết quả

Ví dụ kết quả holdout:

Nhóm	Số người	Chuyển đổi	Tỷ lệ
Thấy quảng cáo	900.000	18.000	2,0%
Holdout	100.000	1.000	1,0%

Cách đọc:

Chênh lệch 1,0 điểm phần trăm là tác động trên mỗi người.
Nhân với số người trong nhóm thấy quảng cáo để ra số đơn tăng thêm.
Chia doanh thu tăng thêm cho chi phí để ra ROAS tăng dần.
Kiểm tra khoảng tin cậy: chênh lệch 1,0 điểm phần trăm có chắc chắn khác 0 không.

Nếu chênh lệch không có ý nghĩa thống kê, kết luận đúng là "chưa đủ bằng chứng", không phải "quảng cáo không hiệu quả".

Ứng dụng vào phân bổ

Khi đã có ROAS tăng dần theo kênh:

Kênh	ROAS báo cáo	ROAS tăng dần	Quyết định
Tìm kiếm thương hiệu	8,0	1,2	Giảm dần, phần lớn là đơn tự nhiên
Tìm kiếm chung	4,0	3,2	Giữ, có thể tăng nhẹ
Mạng xã hội	3,0	2,4	Kiểm tra lại ngân sách
Email	20,0	9,0	Giữ, nhưng bị giới hạn bởi danh sách

Đây là bảng dùng được để ra quyết định, khác hẳn bảng ROAS báo cáo.

Lỗi thường gặp

Coi quy công là nhân quả: nguyên nhân phổ biến nhất của phân bổ sai.
Holdout quá nhỏ: không đủ năng lực thống kê.
Chạy quá ngắn: bắt hiệu ứng mới lạ rồi kết luận.
Đo tổng đơn thay vì tỷ lệ mỗi người: hai nhóm khác kích thước.
Nhiễm chéo: holdout vẫn thấy quảng cáo qua kênh khác.
Bỏ qua mùa vụ: chạy holdout đúng dịp khuyến mãi lớn rồi tổng quát hoá.
Kết luận từ một lần đo: tác động thay đổi theo thời gian và mức chi.

Thực hành

Từ ví dụ trên, tính ROAS tăng dần nếu chênh lệch chuyển đổi là 0,6 điểm phần trăm thay vì 1,0.
Thiết kế holdout 5% cho một kênh với 2 triệu người dùng.
Liệt kê ba nguồn nhiễm chéo có thể có.
So sánh ROAS báo cáo và ROAS tăng dần cho một kênh bạn biết.
Viết kết luận cho trường hợp chênh lệch không có ý nghĩa thống kê.

Lỗi thường gặp

Triệu chứng	Nguyên nhân	Cách sửa
ROAS báo cáo rất cao nhưng lợi nhuận thấp	Quy công tính đơn tự nhiên	Đo holdout
Holdout không thấy khác biệt	Mẫu nhỏ hoặc nhiễm chéo	Tăng mẫu, kiểm tra tiếp xúc
Kết quả đảo chiều lần sau	Mùa vụ hoặc mức chi khác	Chạy nhiều kỳ
Cắt kênh làm doanh thu giảm mạnh	Kênh có tác động thật	Đo trước khi cắt
Không ai đồng ý cách đo	Định nghĩa khác nhau	Chốt thiết kế trước khi chạy
Chi phí đo lớn	Holdout quá rộng	Cân bằng mẫu và chi phí

Tóm tắt

Quy công đo tương quan; tăng dần đo nhân quả.
ROAS tăng dần luôn thấp hơn hoặc bằng ROAS báo cáo.
Năm phương pháp: holdout, geo lift, switchback, PSA, MMM.
Holdout cần đủ mẫu, đủ thời gian, ít nhiễm chéo.
Dùng ROAS tăng dần để phân bổ ngân sách, không dùng ROAS báo cáo.

Use ← → to move between lessons