무엇을 배우려는지 먼저 정합니다
테스트를 시작하기 전에 한 문장을 씁니다. "우리는 A가 B보다 나을 것이라고 생각한다." 이 문장이 없으면 결과를 봐도 해석할 수 없습니다. 숫자가 다르게 나왔을 때 그것이 우리 가설을 지지하는지 반박하는지 판단할 기준이 없기 때문입니다.
가설은 구체적일수록 좋습니다. "이 소재가 더 나을 것 같다"가 아니라 "가격을 먼저 보여 주면 클릭률은 떨어지지만 문의 비율은 올라갈 것이다"처럼 씁니다. 이러면 결과가 어느 쪽이든 배우는 것이 있습니다.
한 번에 한 축만 바꿉니다
광고 소재에는 여러 축이 있습니다. 이미지, 첫 문장, 강조하는 이점, 행동 요청 문구, 색. 이것을 한꺼번에 바꾸면 결과가 좋아져도 무엇 때문인지 모릅니다. 다음 소재를 만들 때 그 배움을 쓸 수 없으므로 매번 처음부터 시작하게 됩니다.
실무적으로는 메시지 축을 먼저 테스트하는 편이 효율적입니다. 이미지를 바꾸는 것보다 무엇을 강조하느냐가 대개 더 큰 차이를 만들고, 한 번 답이 나오면 그 방향으로 이미지를 여러 개 만들 수 있습니다.
얼마나 돌려야 판단할 수 있나
가장 흔한 실수는 너무 일찍 끄는 것입니다. 초반 몇십 클릭에서 나온 차이는 대부분 우연입니다. 특히 Meta 광고는 학습 기간이 있어서 처음 며칠 성과가 나중과 다릅니다.
- 각 소재가 최소 며칠 이상 돌아야 요일 효과가 상쇄됩니다. 주말과 평일 반응이 다른 업종이 많습니다.
- 전환(문의)을 기준으로 판단하려면 소재당 전환이 최소 두 자리는 나와야 합니다. 그보다 적으면 우연과 구분되지 않습니다.
- 전환이 적은 업종이라면 클릭률로 1차 판단하고, 전환은 누적해서 나중에 봅니다.
- 예산이 적어 데이터가 안 쌓이면 테스트 대상을 두 개로 줄이십시오. 다섯 개를 동시에 돌리면 어느 것도 판단할 수 없습니다.
무엇을 기준으로 이겼다고 하나
| 지표 | 알 수 있는 것 | 놓치는 것 |
|---|---|---|
| 클릭률 | 시선을 잡았는가 | 들어온 사람이 맞는 사람인가 |
| 클릭당 비용 | 효율적으로 사고 있는가 | 그 클릭이 문의가 되는가 |
| 전환율 | 들어온 사람이 행동했는가 | 표본이 적으면 흔들림 |
| 문의당 비용 | 실제 사업 효율 | 데이터가 쌓이는 데 시간 필요 |
가장 정확한 것은 문의당 비용이지만 데이터가 쌓이는 데 시간이 걸립니다. 그래서 실무에서는 클릭률로 1차 선별하고, 살아남은 소재들을 문의당 비용으로 다시 비교하는 2단계 방식을 씁니다. 클릭률만 보고 끝내면 클릭은 많은데 문의는 없는 소재가 이깁니다.
결과를 다음에 반영합니다
테스트의 목적은 이번 캠페인의 성과가 아니라 다음 소재를 더 잘 만드는 것입니다. 그래서 결과를 한 줄로 기록해 두어야 합니다. "가격을 먼저 보여 준 소재가 문의당 비용이 낮았다" 같은 문장이 쌓이면 반년 뒤에는 소재 기획이 훨씬 빨라집니다.
기록이 없으면 담당자가 바뀔 때 전부 사라집니다. 실제로 같은 테스트를 1년에 두 번 하는 경우가 드물지 않습니다. 스프레드시트 한 장에 날짜·가설·결과 세 칸이면 충분합니다.
테스트하지 말아야 할 때
- 전환 측정이 없을 때 — 결과를 볼 수 없으므로 테스트가 성립하지 않습니다.
- 도착 페이지가 소재와 무관할 때 — 소재를 아무리 바꿔도 같은 곳에서 빠집니다.
- 예산이 하루 데이터도 못 만들 때 — 먼저 하나의 소재로 기준을 만듭니다.
- 성수기·이벤트 기간 — 외부 요인이 커서 소재 차이가 묻힙니다.
마지막 항목이 자주 간과됩니다. 명절이나 대형 프로모션 기간에 한 테스트 결과는 평시에 그대로 적용되지 않습니다. 그 기간의 결론은 그 기간에만 유효하다고 적어 두십시오.
결과를 한 줄로 남깁니다
테스트의 목적은 이번 캠페인이 아니라 다음 소재를 더 잘 만드는 것입니다. 그러려면 결과가 기록되어야 합니다. 날짜·가설·결과 세 칸이면 충분하고, 이것이 쌓이면 반년 뒤 소재 기획이 훨씬 빨라집니다.
기록이 없으면 담당자가 바뀔 때 전부 사라집니다. 실제로 같은 테스트를 1년에 두 번 하는 경우가 드물지 않습니다. 그때마다 예산과 시간이 다시 듭니다.
자주 묻는 질문
- 소재를 몇 개나 준비해야 하나요?
- 예산에 따라 다릅니다. 각 소재가 판단할 만큼의 데이터를 받으려면 예산을 나눠야 하므로, 예산이 적으면 두 개로 시작하는 편이 낫습니다. 하루 예산이 소재 하나당 최소 노출을 만들 수 있는지 역산해서 개수를 정하십시오.
- 이긴 소재를 계속 쓰면 되나요?
- 한동안은 그렇습니다. 다만 같은 소재를 오래 돌리면 같은 사람에게 반복 노출되어 반응이 떨어집니다. 성과가 서서히 나빠지기 시작하면 그때가 교체 시점입니다. 이긴 소재의 방향은 유지하고 표현만 바꾸는 편이 안전합니다.
- 플랫폼의 자동 소재 최적화를 쓰면 되지 않나요?
- 충분한 데이터가 있으면 자동 최적화가 사람보다 낫습니다. 다만 자동 최적화는 주어진 소재 안에서 고를 뿐 새로운 방향을 만들지 못합니다. 방향을 찾는 테스트는 여전히 사람이 설계해야 합니다.
