A/B 테스트에 대하여

광고를 올리면 매체가 알아서 사람을 찾고, 알아서 입찰하고, 반응이 좋은 소재에 알아서 예산을 몰아줍니다. 마케터가 직접 만질 레버가 줄면서 'A/B 테스트도 이제 매체가 대신 해주는 것 아니냐'는 질문을 자주 받습니다. 결론은 반대입니다. 머신러닝이 강해질수록 성과를 가르는 건 무엇과 무엇을 비교할지 정하는 사람, 즉 브랜드를 이해하고 있는 크리에이티브와 마케터입니다.

머신러닝이 강해지면 A/B 테스트는 무엇이 달라지나?

테스트할 수 있는 변수가 '누구에게'에서 '무엇을'로 옮겨갑니다. 메타의 Advantage+ 쇼핑 캠페인이나 구글의 퍼포먼스 맥스처럼 타기팅·입찰·지면을 자동으로 정하는 캠페인이 기본값이 되면서, 오디언스를 쪼개 비교하던 테스트는 설 자리가 좁아졌습니다. 마케터가 직접 넣는 입력값 중 가장 큰 것은 이제 크리에이티브입니다.

그렇다고 소재를 많이 넣는 것으로 끝나지 않습니다. 매체는 마케터가 넣어준 후보군 안에서만 고를 수 있습니다. 후보군의 수준이 곧 성과의 천장이고, 그 후보군을 설계하는 일은 여전히 사람의 몫입니다.

매체가 고른 '이긴 소재'는 왜 정답이 아닐 수 있나?

머신러닝은 학습시킨 신호, 대개 클릭이나 구매 같은 단기 지표에 맞춰 최적화하기 때문입니다. 브랜드가 쌓아온 톤이나 장기적인 인식은 그 신호에 들어 있지 않습니다. 그래서 자극적인 문구나 과한 할인 소구가 단기 전환에서 이기기 쉽고, 그 결과만 계속 따라가면 할인에만 반응하는 브랜드가 됩니다.

한 광고 세트 안의 비교는 실험이 아니다

여러 소재를 한 광고 세트에 넣으면 매체는 초반 반응이 좋은 쪽으로 예산을 빠르게 몰아줍니다. 노출을 거의 받지 못한 소재는 진 것이 아니라 평가받지 못한 것입니다. 소재 간 우열을 판단하려면 예산과 노출 모수를 나눠 통제하는 분할 테스트 기능을 따로 써야 합니다.

머신러닝은 주어진 선택지 중 최선을 고를 뿐, 선택지를 만들어주지는 않습니다.

그렇다면 무엇을 테스트해야 하나?

버튼 색이 아니라, 브랜드가 고객에게 무엇을 약속하는지를 두고 테스트해야 합니다. 사소한 변수는 머신러닝이 알아서 걸러내지만, 어떤 약속이 이 브랜드다운지는 브랜드를 아는 사람만 정할 수 있습니다. 좋은 테스트는 결과가 나왔을 때 다음 크리에이티브의 방향이 바뀌는 테스트입니다.

브랜드 이해가 필요한 지점은 두 군데입니다. 하나는 비교할 가치가 있는 대안을 떠올리는 일이고, 다른 하나는 숫자로 이겼더라도 쓰면 안 되는 소재를 걸러내는 일입니다. 둘 다 매체 데이터에는 들어 있지 않은 판단입니다.

브랜드 이해를 테스트 설계로 옮기려면 어떻게 하나?

테스트를 돌리기 전에 브랜드 기준을 먼저 적어두는 것에서 시작합니다. 기준 없이 결과부터 보면 숫자가 좋은 쪽을 따라가게 되고, 그게 쌓이면 브랜드가 매체 알고리즘을 닮아갑니다.

마지막 단계가 가장 중요합니다. 이긴 소재가 왜 이겼는지 설명하지 못하면 그 결과는 다음 테스트로 이어지지 않습니다. 설명할 수 있어야 한 번의 승리가 팀의 노하우로 쌓입니다.

실제 캠페인에서는 무엇이 달랐나?

대형 이커머스 브랜드의 캠페인에서 8개 소구점을 비교하는 테스트를 2주간 돌린 결과, 전환율이 28%p 올랐습니다. 예산과 기간은 그대로였고, 달라진 것은 무엇을 비교 대상으로 올렸는가뿐이었습니다.

8개 소구점은 성과가 좋아 보이는 순서로 고른 것이 아니라, 브랜드 기준에서 추린 것이었습니다.