Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing라는 책을 읽고 요약하고 있다. 이 포스트에서는 2장: Running and Analyzing Experiments: an End-to-End Example에 대해 다루고 있다.

글에서 얘기하는 실험은 online controlled experiment를 의미한다. online controlled experiment은 때로 A/B 테스트라고도 불린다.

📕 1장에서는 실험이 무엇인지와 직감이 아닌 실제 데이터로 의사결정하는 것의 중요성에 대해서 알아봤다. 이번 포스트에서는 실험을 Design - Run - Analyze할때의 기본 원칙들을 살펴보려고 한다. 이 원칙들은 웹서버, 데스크탑 어플리케이션, 게임 콘솔, 모바일 어플리케이션 등 모든 소프트웨어에 적용될 수 있다.

예시

마케팅 팀에서 매출을 증진시키기 위해 할인 쿠폰 코드를 이메일로 보내려고 한다고 생각해보자. 하지만, 팀원 중 한명이 할인 쿠폰이 오히려 매출에 악영향을 줄 수 있다는 글을 어디서 읽고 와서 하려고 했던 프로모션 방법에 이의를 제기한다. 그래서 마케팅 팀은 바로 이메일로 쿠폰 코드를 보내기 전에 실험으로 이 action이 어떻게 매출에 영향을 주는지 확인해보려고 한다. 기존에는 없었던 쿠폰 입력란이 유저들한테 어떤 임펙트를 줄 지 알아보기 위해 fake door approach를 사용해보려고 한다.

fake door approach란 가짜 문을 만들고 실제로 사람들이 얼마나 열어보는지 확인하는 방법론이다. 이 예제에서는 실제로는 유저들한테 사용 가능한 쿠폰 코드는 없지만 마치 실제로 쿠폰을 사용할 수 있는 것처럼 아무 기능도 안하는 쿠폰 입력란을 만드는 것을 의미한다.

실제로 구현된 쿠폰 코드 시스템은 없기 떄문에, 유저가 무엇을 입력하던 존재하지 않는 쿠폰 번호입니다 라는 메세지를 보여주려고 한다. 이 방법을 통해서 할인 쿠폰이 매출에 어떤 임펙트를 끼치는지 알아보려고 한다.

가장 먼저 가설을 세운다. 우리의 가설은 "결제하는 페이지에 쿠폰 코드 입력 란을 추가하면 매출이 하락할 것이다" 이다.

가설을 세우고 나서 goal metrics를 정의해야 한다 (이 실험을 통해 어떤 목표를 달성할 것인지에 대한 지표, 측정 가능해야 함). 매출이 좋은 지표일 수 있으나 매출 전체를 지표로 삼으면 어떤 유저가 그룹에 할당되었느냐에 따라서 매출이 영향을 크게 받을 수 있다. 이러한 경우에는 매출을 실제 샘플 사이즈로 정규화한 유저당 매출이 좋은 OEC가 될 수 있다.

OEC란 Overall Evaluation Criterion의 약자로, 실험의 목표를 측정할 수 있는 지표를 의미한다.

OEC를 정하고 나서는 어떤 유저들을 이 실험에 포함시킬지 고민해봐야 한다.

1. 사이트를 방문한 모든 유저. 결제 페이지까지 오지도 않은 유저들이 많이 섞일 수 있다. 이러한 유저들은 사실상 실험에 아무 영향을 끼칠 수 없기 떄문에 배제해야 한다.
2. 결제까지 완료한 유저들. 이 그룹도 잘못되었다, 왜냐하면 UI의 변화가 구매한 양에 임펙트를 줄 수 있다고 가정하는 것이기 때문이다. 유저들이 더 많이 살수록 전체 매출은 늘더라도 유저당 매출은 줄어들 수 있는 가능성이 있다.
3. 결제 페이지까지 온 유저들. 가장 좋은 초이스이다. 결제 페이지에 온 유저들은 변화된 UI에 영향을 받은 모든 유저들을 포함하고 있기 떄문이다.

이제 우리의 가설은 다음과 같이 바뀌게 된다: "결제하는 페이지에 쿠폰 코드 입력란을 추가하는 것은 결제 페이지까지 온 유저들의 유저당 매출을 하락시킬 것이다"

Control(대조군)

Treatment1 (실험군 1)

Treatment2 (실험군 2)

실험을 할 때 유저들을 3개의 그룹으로 나누려고 한다: control. treatment1, treatment2. Control은 대조군은, 즉, 기존에 변화가 없는 사이트를 보는 유저들을 의미한다.

1. 실험 Design하기 🧐

실험을 design할 때 밑의 질문들에 대해 결정을 내려야 한다.

1. randomization unit(무작위 배정될 단위)는 무엇인가?
2. randomization unit 중 어떤 모집단을 타겟팅할 것인가?
3. 실험은 얼마나 커야 하나?
4. 얼마 기간동안 실험을 run 해야 하나?

유저는 통상적으로 randomization unit으로 가장 많이 사용되는 단위 중 하나이다. 유저 외에는 세션 단위, 디바이스 단위)와 같은 단위를 사용할 수 있다. 이 예제에서는 유저단위를 사용한다.

실험을 할 때 특징이 있는 모집단만 타겟팅 하고 싶은 경우가 있다. 예를 들어, 글로벌 서비스인데 새로운 한글 문구에 대해서 실험을 하려고 하면 한글 사용자들만 타겟팅해서 실험을 할 수 있다. 이 예제에서는 모든 유저들이 실험의 대상이다.

실험의 크기(이 예제에서는 유저의 수)는 결과의 정확성에 크게 영향을 끼친다. 모수가 많을 수록 실험의 결과를 더 신뢰할 수 있기 때문이다. 모수가 작으면 OEC가 실험 단위의 행동 하나하나가 크게 변동할 수 있다.

마지막으로, 실험의 기간을 설정할 때 다음의 요소들을 고려해봐야 한다.

• 유저의 수 - 실험의 기간이 길 수록 더 많은 유저들을 확보할 수 있다. 그렇기 때문에 실험에 필요한 모수를 확보할 수 있는 기간만큼 실험의 기간을 설정해야 한다.
• 주말 효과 - 주중보다 주말에 효과가 더 큰 경우가 있을 수 있다. 같은 유저라도 날에 따라서 다르게 행동을 할 수 있다. 그렇기 때문에, 최소 일주일동안 실험을 하는 것을 추천한다.
• seasonality - 특정 시즌(e.g. 크리스마스, 공휴일, 가을, 여름 등)에 따라서도 유저들이 다르게 행동할 수 있다. 이 시즌도 실험의 기간을 정할 때 고려해야 한다.
• novelty effect - 새로운 것에 더 민감하게 반응하는 효과를 의미한다. 예를 들어, 새로운 버튼이 화면에 나타났을 때 유저들이 호기심으로 처음에는 많이 눌러볼 수 있다. 하지만, 시간이 지나면서 덜 누르게 될 수 있다. 이러한 경우가 있기 때문에 유저들이 새로운 변화에 적응할 수 있는 시간까지 고려해야 한다.

실험의 단위, 모집단, 크기, 기간이 실험을 실제로 진행하기 전에 잘 설계되어야 한다. 더 정확하게 설계될 수록 실험의 결과도 더 신뢰할 수 있게 된다.

2. 실험 Run하기 🏃‍♂️

실험을 진행하려면 다음의 2가지가 필수적이다:

• Instrumentation - 유저들의 행동을 로깅하는 데이터를 얻기 위해 (책의 13장 Client-side Experiment 참고)
• Infrastructure - 실험을 제대로 run하기 위해, 실험 설정부터 유저를 특정 그룹으로 할당하는 것 까지 (책의 4장 Experimentation Platform and Culture 참고)

실험을 run하면서 데이터들이 잘 들어온다면 이제 그 데이터로 통계적인 분석을 해야 한다.

3. 실험 Analyze하기 🔍

예시대로 실험한 결과 다음의 결과가 나오게 되었다.

p-value가 0.05보다 낮기 때문에 control과 treatment의 평균이 같다는 Null hypothesis(귀무가설)을 기각한다. 통계적으로 p-value가 0.05미만이면 유의미한 결과라고 본다.

참고 블로그

📎 p-value란?

📎 귀무가설

즉, 쿠폰 입력칸을 결제 페이지에 추가하는 것은 매출을 실제로 하락시킨다는 것을 의미한다. Treatment 화면을 본 유저들이 control화면을 본 유저들보다 실제로 결제를 덜 했다는 것을 의미한다.

🤦 마케팅 팀이 이메일로 유저들에게 쿠폰을 보내려고 했던 시도는 오히려 매출에 악영향을 끼칠 뻔 했던 것이다.

이와 같이 실험을 통해서 데이터 드리븐 의사결정을 할 수 있는 것이다.

✍️ 다음 포스트는 Experimentaion Platform and Culture라는 내용을 요약하려고 한다.