지난 아티클에서는 카카오톡 알림톡을 주제로 템플릿 검수 요청 시 주의해야 할 점과 유용한 팁들을 소개해 드렸어요.
오늘은 그로스 해킹 기법 중 하나인 ‘A/B 테스트’에 대해 알아보려고 해요. A/B 테스트란 무엇일까요? IT 분야에 종사하신다면 아마 익숙하게 알고 계실 텐데요. A/B 테스트란 A와 B라는 2가지 시안의 성과를 측정해 비교하는 실험으로, 주로 마케팅이나 웹 분석에서 활용되곤 합니다.
일반적으로 제품이나 서비스 지표를 면밀하게 관리하고 가설을 수립해 개선하는 PM(Product Manager) 업무에서 자주 활용되는데요. CRM 마케팅 성과를 개선하는 데에도 A/B 테스트가 자주 사용되곤 한답니다. 이번 아티클에서는 A/B 테스트의 정의와 테스트 설계 방법을 알아보고, 이를 CRM에 적용하는 방법까지 공유해 드리겠습니다.
🤔 A/B 테스트란?
A/B 테스트(A/B Test) 또는 A/B 테스팅(A/B Testing)이란 두 가지 이상의 시안의 성과를 비교하여 어느 쪽이 더 우수한 결과를 도출하는지 선호도를 확인하는 실험입니다. A/B 테스트는 본래 통계학에서 유래한 정밀한 실험 설계 방법 중 하나인데요. 현재는 데이터를 기반으로 제품의 성장을 주도하는 그로스 해킹부터 마케팅, 웹 디자인, UI/UX 등 폭넓은 분야에서 활용되고 있습니다. 유저 데이터 기반의 실험을 통해 가설을 검증하고, 데이터에 입각한 의사결정을 내릴 수 있어 빠른 성과 개선에 효과적인 방법이에요.
보통 실험에서 기존 버전은 A안(대조군)으로, 변경된 버전은 B안(실험군)으로 설정되는데요. 예시로 프로모션을 홍보할 마케팅 배너 소재를 실험한다고 할게요. 그러면 A안 소재에서는 기존과 동일하게 할인율을 강조하고, B안에서는 할인율이 아닌 프로모션 경품을 강조하는 식으로 변화를 줍니다. 이후 홈페이지에 방문한 유저를 임의로 두 그룹으로 나누어 일정 기간동안 한 집단에게는 배너 A를 보여주고, 나머지 그룹에는 배너 B를 보여주는 것이죠. 이후 둘 중 어느 버전이 성과가 우수한지 비교합니다. 여기서 확인할 지표는 회원 가입률부터 클릭률, 구매 전환율 등 실험의 목표가 무엇이냐에 따라 달라집니다.
물론 A/B 테스트는 구체적인 이유를 밝혀내거나 심층적인 조사를 진행하기 어렵고, 거시적인 관점에서 제품 전체를 개선하는 데에는 한계가 있는데요. 그럼에도 다양한 아이디어를 제품과 서비스에 빠르게 적용해 최적화할 수 있으며, 소규모 유저를 대상으로 진행되는 만큼 적은 비용이 든다는 점에서 널리 활용되고 있습니다.
⚙️ A/B 테스트 설계 방법
A/B 테스트 실험 진행 단계
- 리서치를 통한 문제 정의 및 목표 설정
- 가설 수립 및 변수 정의
- 테스트 설계 및 실행
- 성과 측정 및 분석
A/B 테스트 진행 방법은 크게 4단계로 분류되는데요. 먼저, 데이터 분석과 유저 리서치를 통해 현재 서비스의 문제점이나 개선 사항을 발굴합니다. 여기서 데이터 분석은 클릭률이나 전환율과 같은 객관적인 정량 지표를 확인하는 것이고, 유저 리서치는 설문 조사나 고객 피드백처럼 주관적인 정성 지표에 해당됩니다.
문제점을 도출한 이후에는 해당 실험에서 달성할 목표를 설정합니다. ‘이메일 클릭률 n% 향상’처럼 특정 지표를 개선하는 것을 목표로 삼을 수 있겠죠. 여기서 개선할 지표는 매출, 고객 만족도 향상 등 서비스에 큰 성과를 가져올 수 있는 것으로 설정하면 좋습니다.
두 번째는 데이터와 리서치 자료를 기반으로 가설을 수립합니다. ‘이메일 제목에 고객 이름을 불러주면 클릭률이 n% 증가할 것이다.’ 처럼 말이죠. 여기서 변수는 ‘고객 이름 불러주기’가 됩니다. 유의할 점은 변수는 꼭 단일 변수여야 한다는 것인데요. 고객 이름을 불러주는 것 외에도 발송 시간, 본문 내용 등까지 변경한다면 어떤 변수가 성과에 영향을 주는지 명확히 파악할 수 없기 때문이에요. 그러므로 A그룹(대조군)과 B그룹(실험군)은 모든 조건은 동일하되, 단 하나의 변수만 다르게 설정하여 실험을 진행해야 하죠.
좋은 가설의 조건 3가지
테스트 가능한(Testable)가설은 증거에 기반해 참과 거짓을 검증할 수 있어야 한다.
정교한(Precise)가설은 구체적이고 명확하게 기술되어야 한다.
개별적인(Discrete)가설은 하나의 독립변수(원인)와 하나의 종속변수(결과)로 구성되어야 한다.
*출처: 도서 『비즈니스 아이디어의 탄생』
이렇게 가설과 변수까지 수립했다면 세번째로는 실험 기간을 설정해 A그룹과 B그룹을 무작위로 50%씩 분류한 뒤 테스트를 진행합니다. 실험 기간은 데이터가 충분히 쌓여 통계적 유의성이 충분히 확보될 수 있는 기간으로 설정되어야 하는데요. 표본의 크기가 너무 작거나 크다면 신뢰도가 낮아질 수 있기 때문이에요.
마지막으로는 실험 성과를 분석하고 수립한 가설대로 성과가 개선되었는지 확인합니다. 개인화 요소를 적용해 고객의 이름을 불러준 B그룹의 클릭률이 A그룹보다 더 우수하다면 가설이 옳다고 검증된 것이므로, 앞으로 메일을 발송할 때에는 고객의 이름을 부르는 것을 기본값으로 설정해 볼 수 있겠죠. 만일 두 그룹 간의 성과 차이가 미미하거나 A그룹이 더 우수했다면, 실험 기간을 조금 더 늘리거나 변수를 다르게 변경하여 새로운 실험을 진행할 수 있어요.
✏️ CRM에 적용하는 법
CRM 관련 A/B테스트 가설 예시
- 이메일 제목에 개인화 요소(ex. 고객 이름)를 추가하면 메일 클릭률이 향상될 것이다.
- 출근 시간이 아닌 퇴근 시간에 메시지를 발송하면 메시지 유입률이 향상될 것이다.
- 앱 푸시 문구에 이모지를 추가하면 클릭률이 향상될 것이다.
- 상품 페이지에 ‘지금 할인 쿠폰 받고 구매하기’ 문구 팝업 메시지를 노출하면 구매 전환율이 향상될 것이다.
그렇다면 A/B테스트를 CRM 캠페인에 어떻게 적용하면 좋을까요? CRM이 달성할 KPI에 도움이 되는 가설을 수립할 수 있을 텐데요. 클릭률부터 구매 전환율, 리텐션 등 다양한 주요 지표 향상을 목표로 삼을 수 있겠죠.
실험 변수 또한 다양하게 설정할 수 있는데요. 앞서 예시로 언급한 것처럼 이메일 제목에 고객 이름을 불러볼 수 있고, 메시지 발송 시간을 변경하여 클릭률이 더 우수한 시간대를 도출할 수도 있고, CTA 버튼 문구나 컬러를 변경해볼 수 있어요. A/B 테스트는 짧은 시간 안에 성과를 효과적으로 끌어올릴 수 있는 유용한 방법이므로, 위에 제시된 예시처럼 가설을 수립해 우리 기업과 서비스의 목표 달성에 기여해 보세요.
이렇게 A/B 테스트의 정의와 실험 설계 방법, 그리고 CRM에 적용하는 방법까지 공유해 드렸어요.
그럼 다음 아티클에서도 알찬 정보를 가득 담아 소개해 드리겠습니다.
Share article
Subscribe to our newsletter
