코드스테이츠 PMB 14기 - THIS IS AB test! 코딩클럽 2탄 W5D4 스파르타코딩클럽
"AB테스트로 뽀개 보자"
https://pmwanna123.tistory.com/26
[코드스테이츠 PMB 14기] "THIS IS SPARTA! 코딩 클럽"
생각보다 어려운 5주 차... 5주 차가 벌써 3일째에 도달하였다. 어떻게 하루가 갔는지 기억도 나지 않을 만큼 시간이 빠르게 흐르는 거 같다. 첫날에 그로스 해킹을 배우고 어제는 퍼널과 AARRR에
pmwanna123.tistory.com
3번 주제는 W5D3 과제와 이어지는 W5D4 과제입니다!
읽고 와주신다면 더욱 즐겁게 읽으실 수 있어요!
D3과제를 작성하며 하룻강아지 범 무서운 줄 모르고 스파르타의 프라이싱에 대해
비판을 했다. 할 때는 좋았지 댓글로 갑자기 비판이 들어올까 두렵다. (근데 댓글을 달아주신다고..? 약간 좋아)
기왕 시작한 아쉬움 끝을 내보자, 오늘은 AB테스트를 통하여 스파르타 코딩 클럽의 프라이싱 UI를 일부 개선
해보고 AB테스트를 진행하는 시나리오 에세이를 작성할 예정이다.
다만 과제로서 진행하는 것이기 때문에 실제 현재 스파르타 코딩 클럽의 프라이싱이 개선이 필요한
부분인지 알 수 없다. 따라서 개선이 필요하다는 상황으로 임의로 설정한 상태에서 과제를 작성하도록 하겠다.
AS-IS : 할인율과 하루 ~원 등 다소 자극적인 카피문구를 통한
수강료 시선 분산, 실제금액에 대한 실망감에서 기인하는 이탈율
TO_BE: 다소 높은 금액대의 수강료에 대한 양해 및 금액대에
맞는 다양한 베네핏 제공을 강조하며 전환 유도
AB테스트는 가설이 반드시 필요해!
우선적으로 가설을 설정해야 한다. 가설이 없다면 AB테스트가 성공적으로 진행되더라도 그래서 여기서 뭐..?
라는 웃지 못할 상황이 발생하기 때문이다. 주니어로서 그러한 참사는 반드시 막아야 한다.
현재 개별 강의 소개 페이지의 상기 이미지 부분 이하로 유저의 30%가 스크롤이 내려가지 않는다.
50%는 모두 읽고 페이지를 이탈한다. 해당 지표는 전체 강의의 평균율로 추산하였다.
스파르타의 주니어 PM인 나는 얼리버드를 적용함에도 불구하고 비교적 높은 금액대를
이탈의 원인으로 선정하였다. 하지만 현재 회사의 정책상 가격을 인하하는 전략으로
개선하는 방향은 불가하다.
제품팀-CX팀 주간회의에서는 가격이 너무 비싼 거 아니냐는 VOC가 빈번하게 들어온다고 한다.
나는 현재로서는 단순히 금액을 인하하는 전략으로 유의미한 개선점을 도출하는 것이 현실적
으로 어려울 것이라는 의견을 피력하였다. 따라서 해당 렌딩 페이지 부분에 높은 금액에 대한
간략한 양해 문구를 넣어보는 것은 어떻겠느냐는 아이디어를 제시하였다.
감정에 호소하는 것이냐는 반박 클레임이 들어왔지만 진심이 통할 때도 있는 법이라는 지지의견
에 힘입어 렌딩 페이지 일부 개선 및 AB테스트 시행이 결정되었다.
가설: 수강신청 CTA 주변에 높은 금액대에 대한
양해 카피를 넣으면 전환율이 상승할 것이다
가설의 대한 우려사항이 몇 가지 있다.
1. 상대적으로 정성적인 개선점이라 일시적으로 전환율이 오르더라도 향후 전략 설정에 어려움이 있음
2. 역효과가 나서 전환율이 이전보다 더 떨어질 가능성 있음, VOC가 날아올지도...
다만 나는 현재의 프라이싱에 대하여 명확하게 문제라고 정의하였기 때문에 사후처리는 나중에 생각하고
일단 실험을 진행해 볼 것이다. (시나리오지만)
AB테스트, 세팅 시작!
가설을 설정하였으니 이제 본격적으로 세팅을 준비해보려 한다. 사실 세팅의 시작이 가설 설정이다.
| 연번 | 구성요소 | 내용 |
| 1 | 가설 | 수강신청 CTA 주변에 높은 금액대에 대한 양해카피를 넣으면 전환율이 상승할 것이다. |
| 2 | 목표 | 전월 대비 강의 전환율 20% 상승 단 강의는 연매출 기준 1,2,3위 강의로 한정한다. |
| 3 | 기간 | 21일/9월 1일 ~ 9월 22일 |
| 4 | 대상 | 강의소개 페이지를 방문한 이용자 2000명 이상 |
| 5 | 측정지표 | CTA 클릭율, 전환율, 해당 카피 이후 스크롤 위치, 소개페이지 이탈율, 렌딩페이지 이탈율 |
| 6 | 실험군(A그룹) | 양해카피에 노출 이용자 |
| 7 | 대조군(B그룹) | 양해카피 비노출 이용자 |
| 8 | 결과 | - |
| 9 | 결론 | - |
주요 일정
8월 20일 ~ 8월 31일 : AB테스트 세팅, 테스트 내용 관계자 공유, 주요 지표 확인
9월 1일 ~ 9월 21일 : 테스트 진행, 지표 확인
9월 22일 : 테스트 종료 및 회고
실험군 노출 사이트 화면
회고: 이게 좋아 저게 좋아?
AB테스트 세팅 시나리오를 진행하며 가장 많이 든 생각은
이렇게 하는 게 맞아..? 였다.
내가 적절한 가설을 세웠는지, 적절한 모수를 설정하였는지,
정확한 지표 설정을 하였는지, 방향성이 잘못되지 않았는지,
빠뜨린 것은 없는지.. 다양한 걱정이 밀물 밀려오듯 훅 들어왔다.
엉망 친창이 될지라도 그냥 한번 테스트를 진행해보고픈 맘도 생긴다.
PM에게 가장 큰 산은 어떻게 해야 개선될지 아무도 모른다는 것
단지 묵묵히 개선점을 찾아내기 위해 걸어 나가는 것
더욱 열심히 공부해야겠다는 맘을 품으며 마무리한다.