쇼핑몰 광고주가 소재 A/B 테스트를 돌릴 때 CTR 1.8%와 2.3%의 차이가 월 매출 300만원 격차를 만듭니다.
[Q1. 일 예산 3만원으로 소재 테스트 가능한가요]
가능하지만 최소 5일은 돌려야 합니다. 메타 광고 기준으로 일 3만원이면 CPM 7,000원 가정 시 일 노출 4,200회 수준입니다. CTR 2% 기준 클릭 84회가 나오는데 이 정도 샘플이면 유의미한 차이를 잡을 수 있습니다. 네이버 GFA는 CPC 방식이라 클릭 100회 확보까지 기간이 더 필요합니다. 쇼핑몰 상품 단가가 3만원 이상이라면 전환까지 추적해야 하므로 테스트 기간을 7일로 잡는 게 안전합니다.
[Q2. 상품 이미지 vs 라이프스타일 컷 중 뭘 먼저 테스트하나요]
쇼핑 광고주 운영 데이터를 보면 카테고리별로 다릅니다. 패션/뷰티는 라이프스타일 컷이 CTR 1.5배 높게 나오고 생활용품/가전은 상품 단독 컷이 CPC 200원 낮습니다. 첫 테스트는 두 방향을 동시에 돌리되 광고 세트를 분리해야 합니다. 메타 A/B 테스트 도구를 쓰지 않고 수동으로 광고 세트 2개를 만들면 오디언스 중복으로 CPM이 올라가는 현상이 발생합니다. 실제 사례에서 중복 타겟팅 시 CPM이 6,500원에서 8,200원으로 상승했습니다.
[Q3. 텍스트 카피도 같이 바꿔도 되나요]
절대 안 됩니다. A/B 테스트 원칙은 변수 1개만 조작하는 것입니다. 이미지와 텍스트를 동시에 바꾸면 어떤 요소가 성과 차이를 만들었는지 알 수 없습니다. 쇼핑몰 광고주가 가장 많이 하는 실수가 이미지 바꾸면서 할인율 문구도 함께 수정하는 경우입니다. 이렇게 하면 CTR 0.8%p 차이가 나도 이미지 효과인지 할인율 효과인지 구분이 불가능합니다. 1차로 이미지 테스트하고 승자 소재로 2차 텍스트 테스트를 순차 진행해야 합니다.
[Q4. 예산 배분은 50대50이 맞나요]
초반 3일은 50대50으로 균등 배분하고 4일차부터 7:3으로 조정합니다. 메타는 자동 최적화 기능이 있어서 성과 좋은 광고에 노출을 몰아주는데 테스트 단계에서 이걸 그대로 두면 안 됩니다. 광고 세트 예산 최적화 CBO를 끄고 광고 세트별로 예산을 고정해야 정확한 비교가 됩니다. 네이버 GFA는 입찰가를 동일하게 세팅해도 품질지수 차이로 노출량이 달라지므로 노출수 기준으로 50대50 달성 여부를 확인해야 합니다. 노출 편차가 30% 이상 나면 테스트 무효입니다.
[Q5. 며칠 돌려야 결과를 신뢰할 수 있나요]
최소 클릭 100회 이상 또는 5일 중 긴 쪽을 기준으로 잡습니다. 통계적 유의성 확보를 위해 각 소재당 클릭 100회는 필요합니다. 쇼핑몰 전환 추적까지 본다면 전환 20건 이상 확보가 기준입니다. 실제 데이터를 보면 클릭 50회 단계에서는 CTR 차이가 1.2%p였는데 200회 시점에는 0.3%p로 좁혀진 케이스가 있습니다. 성급하게 2일 만에 판단하면 잘못된 소재를 승자로 선택하게 됩니다. 반대로 10일 이상 끌면 시장 상황 변화가 개입되어 순수한 소재 효과를 측정하기 어렵습니다.
[Q6. 테스트 중간에 입찰가 조정해도 되나요]
절대 금지입니다. 테스트 기간 중에는 예산, 입찰가, 타겟 모두 고정이 원칙입니다. 입찰가를 올리면 노출 위치가 바뀌면서 CTR에 영향을 줍니다. 네이버 파워링크는 1순위와 3순위 CTR 차이가 평균 2.1배이므로 입찰가 변경으로 순위가 바뀌면 소재 비교가 아니라 순위 비교가 되어버립니다. 메타도 마찬가지로 입찰 전략을 최저 입찰가에서 최대 입찰가로 바꾸면 오디언스 범위가 달라져서 동일 조건 테스트가 아닙니다. 중간 개입 없이 설정한 기간을 끝까지 완주해야 합니다.
[Q7. 승자 소재 나왔는데 ROAS가 안 나옵니다]
CTR이 높다고 ROAS가 높은 건 아닙니다. 쇼핑몰 운영 사례를 보면 CTR 2.8%인 소재 A가 CTR 1.9%인 소재 B보다 클릭은 많지만 전환율은 1.2% vs 2.1%로 역전되는 경우가 있습니다. 이미지가 자극적이면 클릭은 유도하지만 구매 의도가 낮은 트래픽을 끌어오는 것입니다. 테스트 KPI를 CTR로만 잡지 말고 CPA나 ROAS까지 함께 봐야 합니다. 예산이 제한적이면 1차로 CTR 기준 소재 선별하고 2차로 선별된 소재들로 전환 기준 테스트를 한 번 더 돌리는 2단계 구조가 효율적입니다.