A/Bテストについて

広告を出稿すれば、媒体が自動で人を見つけ、自動で入札し、反応の良いクリエイティブに自動で予算を寄せます。マーケターが直接触れるレバーが減り、「A/Bテストも媒体が代わりにやってくれるのでは」という質問をよく受けます。結論は逆です。機械学習が強くなるほど成果を分けるのは、何と何を比較するかを決める人、つまりブランドを理解しているクリエイターとマーケターです。

機械学習が強くなると、A/Bテストは何が変わるのか?

テストできる変数が「誰に」から「何を」へ移ります。MetaのAdvantage+ ショッピングキャンペーンやGoogleのパフォーマンスマックスのように、ターゲティング・入札・配信面を自動で決めるキャンペーンが標準になり、オーディエンスを分けて比較するテストは居場所が狭くなりました。マーケターが直接入れる入力値で最も大きいのは、今やクリエイティブです。

とはいえ、クリエイティブを数多く入れれば終わりではありません。媒体はマーケターが用意した候補の中からしか選べません。候補の水準がそのまま成果の天井になり、その候補を設計するのは依然として人の仕事です。

媒体が選んだ「勝ったクリエイティブ」は、なぜ正解とは限らないのか?

機械学習は学習させたシグナル、多くはクリックや購入といった短期指標に合わせて最適化するからです。ブランドが積み上げてきたトーンや長期的な認知は、そのシグナルに含まれていません。そのため刺激的なコピーや過度な割引訴求が短期のコンバージョンで勝ちやすく、その結果だけを追い続けると、割引にしか反応しないブランドになります。

1つの広告セット内の比較は実験ではない

複数のクリエイティブを1つの広告セットに入れると、媒体は初速の良い方へ素早く予算を寄せます。ほとんど配信されなかったクリエイティブは、負けたのではなく評価されなかったのです。クリエイティブ間の優劣を判断するには、予算と配信母数を分けて統制する分割テスト機能を別に使う必要があります。

機械学習は与えられた選択肢の中から最善を選ぶだけで、選択肢そのものを作ってはくれません。

では、何をテストすべきなのか?

ボタンの色ではなく、ブランドが顧客に何を約束するのかを対象にテストすべきです。些細な変数は機械学習が自動で振り分けますが、どの約束がこのブランドらしいかは、ブランドを知る人にしか決められません。良いテストとは、結果が出たときに次のクリエイティブの方向が変わるテストです。

ブランド理解が必要な場面は二つあります。一つは比較する価値のある代案を思いつくこと、もう一つは数字で勝っても使ってはいけないクリエイティブをふるい落とすことです。どちらも媒体のデータには含まれていない判断です。

ブランド理解をテスト設計に移すにはどうすればいいのか?

テストを回す前に、ブランドの基準を先に書き出すことから始めます。基準のないまま結果から見ると数字の良い方に引っ張られ、それが積み重なるとブランドが媒体のアルゴリズムに似ていきます。

最後のステップが最も重要です。勝ったクリエイティブがなぜ勝ったのかを説明できなければ、その結果は次のテストにつながりません。説明できて初めて、一度の勝利がチームのノウハウとして蓄積されます。

実際のキャンペーンでは何が違ったのか?

大手ECブランドのキャンペーンで、8つの訴求を比較するテストを2週間回した結果、コンバージョン率が28%p 上がりました。予算も期間もそのままで、変えたのは何を比較対象に載せるかだけでした。

8つの訴求は成果が良さそうな順に選んだものではなく、ブランド基準から絞り込んだものでした。