A/B Testing for Ad Creatives

Mintegral의 Ad Creative A/B Testing 기능은 광고주가 추측에 의존하지 않도록 돕기 위해 설계되었습니다. 구조화된 실험 환경을 제공하여 크리에이티브에 대한 가설을 검증하고, 스케일 확장에 적합한 고전환 에셋을 빠르게 식별할 수 있습니다.

Ad Creative A/B Testing 사용 사례

기존 캠페인을 최적화하든 새 에셋을 출시하든, A/B 테스트는 주로 두 가지 핵심 목적을 수행합니다.

• 크리에이티브 성과 최적화:

• 직접 비교: 두 개의 크리에이티브 중 어떤 것이 더 좋은 성과를 내는지 확신할 수 없을 때, 실험을 통해 데이터 기반 결론에 도달할 수 있습니다.

• 조합 최적화: 특정 에셋 조합의 효과를 확인합니다. 예를 들어, 하나의 동영상에 서로 다른 두 개의 Playable을 조합하여 어떤 Playable이 더 높은 전환을 유도하는지 테스트할 수 있습니다.

• 크리에이티브 스케일링 가속:

• 다른 플랫폼에서는 뛰어난 성과를 보이는 크리에이티브가 Mintegral 자동 시스템을 통해 충분히 스케일링되지 않는 경우, A/B 테스트를 사용해 트래픽을 수동으로 배정할 수 있습니다. 이를 통해 해당 에셋이 샘플을 빠르게 축적하고, 시스템이 에셋을 스케일링하는 능력을 더 빨리 높일 수 있습니다.

A/B 테스트 생성 방법

이동 경로: Delivery Tool > Creative AB

단계:

1. 기본 정보 입력: 실험을 생성하고 기본 프로젝트 정보를 입력합니다.

2. 대조군 설정: 대조군 크리에이티브를 선택하고 해당 트래픽 비율을 배정합니다.
3. 실험군 설정: 하나 이상의 실험군 크리에이티브를 추가하고 트래픽을 배정합니다.

💡 팁 및 중요 참고 사항

실험 규칙

• 고유성: 하나의 크리에이티브는 동시에 하나의 실험에서만 대조군으로 사용할 수 있으며, 여러 실험에 동시에 참여할 수 없습니다.

실험 생성

• 신규 크리에이티브 비교: 완전히 새로운 크리에이티브 두 개를 비교하려면, 기존 트래픽이 있는 크리에이티브를 대조군으로 사용하고 두 신규 크리에이티브를 실험군으로 설정하는 것을 권장합니다.
• 대조군 vs. 실험군 설정: 이미 스케일링되었고 충분한 볼륨이 있는 크리에이티브를 대조군으로 선택하는 것을 권장합니다. 하나의 실험에는 대조군을 1개만 설정할 수 있지만, 실험군은 최대 4개까지 설정할 수 있습니다.
• 트래픽 배정: 대조군과 모든 실험군의 트래픽 비율 합계는 100%여야 합니다.
• 에셋 요건: 실험군 크리에이티브는 다음 차원에서 대조군과 일치해야 합니다.
• Image/Icon: 크기가 동일해야 합니다.
• Video: 크기가 동일해야 합니다(비트레이트와 길이는 현재 제한되지 않음).
• Playable: WebGL 속성이 동일해야 합니다.

실험 실행

• 트래픽 변동: 실험이 시작되면 시스템은 실험군에 트래픽을 배정합니다. 따라서 대조군 크리에이티브의 볼륨이 감소하는 것은 정상입니다.
• 실험 주기: 실험은 신뢰할 수 있는 결론에 도달하기 위해 데이터를 축적할 시간이 필요합니다. 최소 2일의 주기를 권장하며, 실험 실행 중 잦은 수정은 권장하지 않습니다.

결과 분석 및 조정

실험이 시작된 후에는 실험 목록의 "Operation" 옵션을 통해 실시간 리포트를 확인할 수 있습니다.

💡 베스트 프랙티스

• 신뢰도 측정: 데이터 볼륨이 충분할 때에만 결론을 신뢰할 수 있습니다. 최소 1,000회 노출을 권장합니다. CPI 기반 오퍼의 경우, 충분한 수의 설치가 발생할 때까지 기다린 후 결과를 판단하는 것을 권장합니다.
• 변수 정의 및 데이터 이해: 실험군과 대조군의 차이를 명확히 정의하고 비교할 구체적인 차원을 결정하세요. 예를 들어 동일한 동영상과 서로 다른 Playable 간의 시너지를 검증할 때는 전환율 차이를 분석하여 최적의 크리에이티브 조합을 식별합니다.
• 최적화 실행: 실험 결론을 기반으로 오퍼 설정을 조정하세요. 예를 들어 승리한 Playable과 동영상을 새 맞춤형 크리에이티브로 조합하고, 성과가 낮은 조합은 제거합니다.

FAQ

Q: 실험이 오퍼의 전체 볼륨에 영향을 주나요? 실험 종료 후 대조군이 영향을 받나요?
A: 오퍼의 전체 볼륨에는 영향을 주지 않습니다. 실험 종료 후 실험군 크리에이티브가 성공적으로 스케일링된 경우, 기존 대조군 트래픽의 일부를 가져갈 수 있지만 전체 볼륨은 크게 변동하지 않습니다.

Q: 실험에 포함하려는 크리에이티브를 찾을 수 없는 이유는 무엇인가요?
A: 시스템은 설정한 Creative Group, Ad Type, Ad Output을 기준으로 사용 가능한 크리에이티브를 필터링합니다. 원하는 특정 에셋을 조합하려면 Custom Creatives를 사용하는 것을 권장합니다.

Q: 생성할 수 있는 실험 수에 제한이 있나요?
A: 예. 광고주 계정당 "Running" 및 "Pending" 상태의 실험 총수는 50개를 초과할 수 없습니다.

Q: "Video + Playable" 크리에이티브를 사용해 "Playable-only" 크리에이티브의 스케일링을 도울 수 있나요?
A: 아니요. 현재 A/B 테스트는 동일한 유형의 크리에이티브 간 비교만 지원합니다.

Q: 실험 리포트의 데이터가 Performance Report와 일치하지 않는 이유는 무엇인가요?
A: 공정성을 보장하기 위해 A/B 실험 리포트는 대조군과 실험군이 동일한 노출에 대해 경쟁할 자격이 있을 때만 데이터를 기록합니다. 특정 노출이 대조군에만 적합한 경우, 해당 데이터는 Performance Report에만 기록됩니다. 따라서 Performance Report의 대조군 볼륨은 일반적으로 실험 리포트보다 높습니다.