Jun 28, 2020 โ€ข5 min read โ˜•

๐Ÿƒโ€โ™‚๏ธ [์ฑ… ์š”์•ฝ] Trustworthy Online Controlled Experiments - ch2 Running and Analyzing Experiments

Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing๋ผ๋Š” ์ฑ…์„ ์ฝ๊ณ  ์š”์•ฝํ•˜๊ณ  ์žˆ๋‹ค. ์ด ํฌ์ŠคํŠธ์—์„œ๋Š” 2์žฅ: Running and Analyzing Experiments: an End-to-End Example์— ๋Œ€ํ•ด ๋‹ค๋ฃจ๊ณ  ์žˆ๋‹ค.

๊ธ€์—์„œ ์–˜๊ธฐํ•˜๋Š” ์‹คํ—˜์€ online controlled experiment๋ฅผ ์˜๋ฏธํ•œ๋‹ค. online controlled experiment์€ ๋•Œ๋กœ A/B ํ…Œ์ŠคํŠธ๋ผ๊ณ ๋„ ๋ถˆ๋ฆฐ๋‹ค.

๐Ÿ“• 1์žฅ์—์„œ๋Š” ์‹คํ—˜์ด ๋ฌด์—‡์ธ์ง€์™€ ์ง๊ฐ์ด ์•„๋‹Œ ์‹ค์ œ ๋ฐ์ดํ„ฐ๋กœ ์˜์‚ฌ๊ฒฐ์ •ํ•˜๋Š” ๊ฒƒ์˜ ์ค‘์š”์„ฑ์— ๋Œ€ํ•ด์„œ ์•Œ์•„๋ดค๋‹ค. ์ด๋ฒˆ ํฌ์ŠคํŠธ์—์„œ๋Š” ์‹คํ—˜์„ Design - Run - Analyzeํ• ๋•Œ์˜ ๊ธฐ๋ณธ ์›์น™๋“ค์„ ์‚ดํŽด๋ณด๋ ค๊ณ  ํ•œ๋‹ค. ์ด ์›์น™๋“ค์€ ์›น์„œ๋ฒ„, ๋ฐ์Šคํฌํƒ‘ ์–ดํ”Œ๋ฆฌ์ผ€์ด์…˜, ๊ฒŒ์ž„ ์ฝ˜์†”, ๋ชจ๋ฐ”์ผ ์–ดํ”Œ๋ฆฌ์ผ€์ด์…˜ ๋“ฑ ๋ชจ๋“  ์†Œํ”„ํŠธ์›จ์–ด์— ์ ์šฉ๋  ์ˆ˜ ์žˆ๋‹ค.

์˜ˆ์‹œ

๋งˆ์ผ€ํŒ… ํŒ€์—์„œ ๋งค์ถœ์„ ์ฆ์ง„์‹œํ‚ค๊ธฐ ์œ„ํ•ด ํ• ์ธ ์ฟ ํฐ ์ฝ”๋“œ๋ฅผ ์ด๋ฉ”์ผ๋กœ ๋ณด๋‚ด๋ ค๊ณ  ํ•œ๋‹ค๊ณ  ์ƒ๊ฐํ•ด๋ณด์ž. ํ•˜์ง€๋งŒ, ํŒ€์› ์ค‘ ํ•œ๋ช…์ด ํ• ์ธ ์ฟ ํฐ์ด ์˜คํžˆ๋ ค ๋งค์ถœ์— ์•…์˜ํ–ฅ์„ ์ค„ ์ˆ˜ ์žˆ๋‹ค๋Š” ๊ธ€์„ ์–ด๋””์„œ ์ฝ๊ณ  ์™€์„œ ํ•˜๋ ค๊ณ  ํ–ˆ๋˜ ํ”„๋กœ๋ชจ์…˜ ๋ฐฉ๋ฒ•์— ์ด์˜๋ฅผ ์ œ๊ธฐํ•œ๋‹ค. ๊ทธ๋ž˜์„œ ๋งˆ์ผ€ํŒ… ํŒ€์€ ๋ฐ”๋กœ ์ด๋ฉ”์ผ๋กœ ์ฟ ํฐ ์ฝ”๋“œ๋ฅผ ๋ณด๋‚ด๊ธฐ ์ „์— ์‹คํ—˜์œผ๋กœ ์ด action์ด ์–ด๋–ป๊ฒŒ ๋งค์ถœ์— ์˜ํ–ฅ์„ ์ฃผ๋Š”์ง€ ํ™•์ธํ•ด๋ณด๋ ค๊ณ  ํ•œ๋‹ค. ๊ธฐ์กด์—๋Š” ์—†์—ˆ๋˜ ์ฟ ํฐ ์ž…๋ ฅ๋ž€์ด ์œ ์ €๋“คํ•œํ…Œ ์–ด๋–ค ์ž„ํŽ™ํŠธ๋ฅผ ์ค„ ์ง€ ์•Œ์•„๋ณด๊ธฐ ์œ„ํ•ด fake door approach๋ฅผ ์‚ฌ์šฉํ•ด๋ณด๋ ค๊ณ  ํ•œ๋‹ค.

fake door approach๋ž€ ๊ฐ€์งœ ๋ฌธ์„ ๋งŒ๋“ค๊ณ  ์‹ค์ œ๋กœ ์‚ฌ๋žŒ๋“ค์ด ์–ผ๋งˆ๋‚˜ ์—ด์–ด๋ณด๋Š”์ง€ ํ™•์ธํ•˜๋Š” ๋ฐฉ๋ฒ•๋ก ์ด๋‹ค. ์ด ์˜ˆ์ œ์—์„œ๋Š” ์‹ค์ œ๋กœ๋Š” ์œ ์ €๋“คํ•œํ…Œ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ์ฟ ํฐ ์ฝ”๋“œ๋Š” ์—†์ง€๋งŒ ๋งˆ์น˜ ์‹ค์ œ๋กœ ์ฟ ํฐ์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๊ฒƒ์ฒ˜๋Ÿผ ์•„๋ฌด ๊ธฐ๋Šฅ๋„ ์•ˆํ•˜๋Š” ์ฟ ํฐ ์ž…๋ ฅ๋ž€์„ ๋งŒ๋“œ๋Š” ๊ฒƒ์„ ์˜๋ฏธํ•œ๋‹ค.

์‹ค์ œ๋กœ ๊ตฌํ˜„๋œ ์ฟ ํฐ ์ฝ”๋“œ ์‹œ์Šคํ…œ์€ ์—†๊ธฐ ๋–„๋ฌธ์—, ์œ ์ €๊ฐ€ ๋ฌด์—‡์„ ์ž…๋ ฅํ•˜๋˜ ์กด์žฌํ•˜์ง€ ์•Š๋Š” ์ฟ ํฐ ๋ฒˆํ˜ธ์ž…๋‹ˆ๋‹ค ๋ผ๋Š” ๋ฉ”์„ธ์ง€๋ฅผ ๋ณด์—ฌ์ฃผ๋ ค๊ณ  ํ•œ๋‹ค. ์ด ๋ฐฉ๋ฒ•์„ ํ†ตํ•ด์„œ ํ• ์ธ ์ฟ ํฐ์ด ๋งค์ถœ์— ์–ด๋–ค ์ž„ํŽ™ํŠธ๋ฅผ ๋ผ์น˜๋Š”์ง€ ์•Œ์•„๋ณด๋ ค๊ณ  ํ•œ๋‹ค.

๊ฐ€์žฅ ๋จผ์ € ๊ฐ€์„ค์„ ์„ธ์šด๋‹ค. ์šฐ๋ฆฌ์˜ ๊ฐ€์„ค์€ "๊ฒฐ์ œํ•˜๋Š” ํŽ˜์ด์ง€์— ์ฟ ํฐ ์ฝ”๋“œ ์ž…๋ ฅ ๋ž€์„ ์ถ”๊ฐ€ํ•˜๋ฉด ๋งค์ถœ์ด ํ•˜๋ฝํ•  ๊ฒƒ์ด๋‹ค" ์ด๋‹ค.

๊ฐ€์„ค์„ ์„ธ์šฐ๊ณ  ๋‚˜์„œ goal metrics๋ฅผ ์ •์˜ํ•ด์•ผ ํ•œ๋‹ค (์ด ์‹คํ—˜์„ ํ†ตํ•ด ์–ด๋–ค ๋ชฉํ‘œ๋ฅผ ๋‹ฌ์„ฑํ•  ๊ฒƒ์ธ์ง€์— ๋Œ€ํ•œ ์ง€ํ‘œ, ์ธก์ • ๊ฐ€๋Šฅํ•ด์•ผ ํ•จ). ๋งค์ถœ์ด ์ข‹์€ ์ง€ํ‘œ์ผ ์ˆ˜ ์žˆ์œผ๋‚˜ ๋งค์ถœ ์ „์ฒด๋ฅผ ์ง€ํ‘œ๋กœ ์‚ผ์œผ๋ฉด ์–ด๋–ค ์œ ์ €๊ฐ€ ๊ทธ๋ฃน์— ํ• ๋‹น๋˜์—ˆ๋Š๋ƒ์— ๋”ฐ๋ผ์„œ ๋งค์ถœ์ด ์˜ํ–ฅ์„ ํฌ๊ฒŒ ๋ฐ›์„ ์ˆ˜ ์žˆ๋‹ค. ์ด๋Ÿฌํ•œ ๊ฒฝ์šฐ์—๋Š” ๋งค์ถœ์„ ์‹ค์ œ ์ƒ˜ํ”Œ ์‚ฌ์ด์ฆˆ๋กœ ์ •๊ทœํ™”ํ•œ ์œ ์ €๋‹น ๋งค์ถœ์ด ์ข‹์€ OEC๊ฐ€ ๋  ์ˆ˜ ์žˆ๋‹ค.

OEC๋ž€ Overall Evaluation Criterion์˜ ์•ฝ์ž๋กœ, ์‹คํ—˜์˜ ๋ชฉํ‘œ๋ฅผ ์ธก์ •ํ•  ์ˆ˜ ์žˆ๋Š” ์ง€ํ‘œ๋ฅผ ์˜๋ฏธํ•œ๋‹ค.

OEC๋ฅผ ์ •ํ•˜๊ณ  ๋‚˜์„œ๋Š” ์–ด๋–ค ์œ ์ €๋“ค์„ ์ด ์‹คํ—˜์— ํฌํ•จ์‹œํ‚ฌ์ง€ ๊ณ ๋ฏผํ•ด๋ด์•ผ ํ•œ๋‹ค.

  1. ์‚ฌ์ดํŠธ๋ฅผ ๋ฐฉ๋ฌธํ•œ ๋ชจ๋“  ์œ ์ €. ๊ฒฐ์ œ ํŽ˜์ด์ง€๊นŒ์ง€ ์˜ค์ง€๋„ ์•Š์€ ์œ ์ €๋“ค์ด ๋งŽ์ด ์„ž์ผ ์ˆ˜ ์žˆ๋‹ค. ์ด๋Ÿฌํ•œ ์œ ์ €๋“ค์€ ์‚ฌ์‹ค์ƒ ์‹คํ—˜์— ์•„๋ฌด ์˜ํ–ฅ์„ ๋ผ์น  ์ˆ˜ ์—†๊ธฐ ๋–„๋ฌธ์— ๋ฐฐ์ œํ•ด์•ผ ํ•œ๋‹ค.
  2. ๊ฒฐ์ œ๊นŒ์ง€ ์™„๋ฃŒํ•œ ์œ ์ €๋“ค. ์ด ๊ทธ๋ฃน๋„ ์ž˜๋ชป๋˜์—ˆ๋‹ค, ์™œ๋ƒํ•˜๋ฉด UI์˜ ๋ณ€ํ™”๊ฐ€ ๊ตฌ๋งคํ•œ ์–‘์— ์ž„ํŽ™ํŠธ๋ฅผ ์ค„ ์ˆ˜ ์žˆ๋‹ค๊ณ  ๊ฐ€์ •ํ•˜๋Š” ๊ฒƒ์ด๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค. ์œ ์ €๋“ค์ด ๋” ๋งŽ์ด ์‚ด์ˆ˜๋ก ์ „์ฒด ๋งค์ถœ์€ ๋Š˜๋”๋ผ๋„ ์œ ์ €๋‹น ๋งค์ถœ์€ ์ค„์–ด๋“ค ์ˆ˜ ์žˆ๋Š” ๊ฐ€๋Šฅ์„ฑ์ด ์žˆ๋‹ค.
  3. ๊ฒฐ์ œ ํŽ˜์ด์ง€๊นŒ์ง€ ์˜จ ์œ ์ €๋“ค. ๊ฐ€์žฅ ์ข‹์€ ์ดˆ์ด์Šค์ด๋‹ค. ๊ฒฐ์ œ ํŽ˜์ด์ง€์— ์˜จ ์œ ์ €๋“ค์€ ๋ณ€ํ™”๋œ UI์— ์˜ํ–ฅ์„ ๋ฐ›์€ ๋ชจ๋“  ์œ ์ €๋“ค์„ ํฌํ•จํ•˜๊ณ  ์žˆ๊ธฐ ๋–„๋ฌธ์ด๋‹ค.

์ด์ œ ์šฐ๋ฆฌ์˜ ๊ฐ€์„ค์€ ๋‹ค์Œ๊ณผ ๊ฐ™์ด ๋ฐ”๋€Œ๊ฒŒ ๋œ๋‹ค: "๊ฒฐ์ œํ•˜๋Š” ํŽ˜์ด์ง€์— ์ฟ ํฐ ์ฝ”๋“œ ์ž…๋ ฅ๋ž€์„ ์ถ”๊ฐ€ํ•˜๋Š” ๊ฒƒ์€ ๊ฒฐ์ œ ํŽ˜์ด์ง€๊นŒ์ง€ ์˜จ ์œ ์ €๋“ค์˜ ์œ ์ €๋‹น ๋งค์ถœ์„ ํ•˜๋ฝ์‹œํ‚ฌ ๊ฒƒ์ด๋‹ค"

Control(๋Œ€์กฐ๊ตฐ)

control

Treatment1 (์‹คํ—˜๊ตฐ 1)

treatment!

Treatment2 (์‹คํ—˜๊ตฐ 2)

treatment2

์‹คํ—˜์„ ํ•  ๋•Œ ์œ ์ €๋“ค์„ 3๊ฐœ์˜ ๊ทธ๋ฃน์œผ๋กœ ๋‚˜๋ˆ„๋ ค๊ณ  ํ•œ๋‹ค: control. treatment1, treatment2. Control์€ ๋Œ€์กฐ๊ตฐ์€, ์ฆ‰, ๊ธฐ์กด์— ๋ณ€ํ™”๊ฐ€ ์—†๋Š” ์‚ฌ์ดํŠธ๋ฅผ ๋ณด๋Š” ์œ ์ €๋“ค์„ ์˜๋ฏธํ•œ๋‹ค.

1. ์‹คํ—˜ Designํ•˜๊ธฐ ๐Ÿง

์‹คํ—˜์„ designํ•  ๋•Œ ๋ฐ‘์˜ ์งˆ๋ฌธ๋“ค์— ๋Œ€ํ•ด ๊ฒฐ์ •์„ ๋‚ด๋ ค์•ผ ํ•œ๋‹ค.

  1. randomization unit(๋ฌด์ž‘์œ„ ๋ฐฐ์ •๋  ๋‹จ์œ„)๋Š” ๋ฌด์—‡์ธ๊ฐ€?
  2. randomization unit ์ค‘ ์–ด๋–ค ๋ชจ์ง‘๋‹จ์„ ํƒ€๊ฒŸํŒ…ํ•  ๊ฒƒ์ธ๊ฐ€?
  3. ์‹คํ—˜์€ ์–ผ๋งˆ๋‚˜ ์ปค์•ผ ํ•˜๋‚˜?
  4. ์–ผ๋งˆ ๊ธฐ๊ฐ„๋™์•ˆ ์‹คํ—˜์„ run ํ•ด์•ผ ํ•˜๋‚˜?

์œ ์ €๋Š” ํ†ต์ƒ์ ์œผ๋กœ randomization unit์œผ๋กœ ๊ฐ€์žฅ ๋งŽ์ด ์‚ฌ์šฉ๋˜๋Š” ๋‹จ์œ„ ์ค‘ ํ•˜๋‚˜์ด๋‹ค. ์œ ์ € ์™ธ์—๋Š” ์„ธ์…˜ ๋‹จ์œ„, ๋””๋ฐ”์ด์Šค ๋‹จ์œ„)์™€ ๊ฐ™์€ ๋‹จ์œ„๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋‹ค. ์ด ์˜ˆ์ œ์—์„œ๋Š” ์œ ์ €๋‹จ์œ„๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค.

์‹คํ—˜์„ ํ•  ๋•Œ ํŠน์ง•์ด ์žˆ๋Š” ๋ชจ์ง‘๋‹จ๋งŒ ํƒ€๊ฒŸํŒ… ํ•˜๊ณ  ์‹ถ์€ ๊ฒฝ์šฐ๊ฐ€ ์žˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, ๊ธ€๋กœ๋ฒŒ ์„œ๋น„์Šค์ธ๋ฐ ์ƒˆ๋กœ์šด ํ•œ๊ธ€ ๋ฌธ๊ตฌ์— ๋Œ€ํ•ด์„œ ์‹คํ—˜์„ ํ•˜๋ ค๊ณ  ํ•˜๋ฉด ํ•œ๊ธ€ ์‚ฌ์šฉ์ž๋“ค๋งŒ ํƒ€๊ฒŸํŒ…ํ•ด์„œ ์‹คํ—˜์„ ํ•  ์ˆ˜ ์žˆ๋‹ค. ์ด ์˜ˆ์ œ์—์„œ๋Š” ๋ชจ๋“  ์œ ์ €๋“ค์ด ์‹คํ—˜์˜ ๋Œ€์ƒ์ด๋‹ค.

์‹คํ—˜์˜ ํฌ๊ธฐ(์ด ์˜ˆ์ œ์—์„œ๋Š” ์œ ์ €์˜ ์ˆ˜)๋Š” ๊ฒฐ๊ณผ์˜ ์ •ํ™•์„ฑ์— ํฌ๊ฒŒ ์˜ํ–ฅ์„ ๋ผ์นœ๋‹ค. ๋ชจ์ˆ˜๊ฐ€ ๋งŽ์„ ์ˆ˜๋ก ์‹คํ—˜์˜ ๊ฒฐ๊ณผ๋ฅผ ๋” ์‹ ๋ขฐํ•  ์ˆ˜ ์žˆ๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค. ๋ชจ์ˆ˜๊ฐ€ ์ž‘์œผ๋ฉด OEC๊ฐ€ ์‹คํ—˜ ๋‹จ์œ„์˜ ํ–‰๋™ ํ•˜๋‚˜ํ•˜๋‚˜๊ฐ€ ํฌ๊ฒŒ ๋ณ€๋™ํ•  ์ˆ˜ ์žˆ๋‹ค.

๋งˆ์ง€๋ง‰์œผ๋กœ, ์‹คํ—˜์˜ ๊ธฐ๊ฐ„์„ ์„ค์ •ํ•  ๋•Œ ๋‹ค์Œ์˜ ์š”์†Œ๋“ค์„ ๊ณ ๋ คํ•ด๋ด์•ผ ํ•œ๋‹ค.

  • ์œ ์ €์˜ ์ˆ˜ - ์‹คํ—˜์˜ ๊ธฐ๊ฐ„์ด ๊ธธ ์ˆ˜๋ก ๋” ๋งŽ์€ ์œ ์ €๋“ค์„ ํ™•๋ณดํ•  ์ˆ˜ ์žˆ๋‹ค. ๊ทธ๋ ‡๊ธฐ ๋•Œ๋ฌธ์— ์‹คํ—˜์— ํ•„์š”ํ•œ ๋ชจ์ˆ˜๋ฅผ ํ™•๋ณดํ•  ์ˆ˜ ์žˆ๋Š” ๊ธฐ๊ฐ„๋งŒํผ ์‹คํ—˜์˜ ๊ธฐ๊ฐ„์„ ์„ค์ •ํ•ด์•ผ ํ•œ๋‹ค.
  • ์ฃผ๋ง ํšจ๊ณผ - ์ฃผ์ค‘๋ณด๋‹ค ์ฃผ๋ง์— ํšจ๊ณผ๊ฐ€ ๋” ํฐ ๊ฒฝ์šฐ๊ฐ€ ์žˆ์„ ์ˆ˜ ์žˆ๋‹ค. ๊ฐ™์€ ์œ ์ €๋ผ๋„ ๋‚ ์— ๋”ฐ๋ผ์„œ ๋‹ค๋ฅด๊ฒŒ ํ–‰๋™์„ ํ•  ์ˆ˜ ์žˆ๋‹ค. ๊ทธ๋ ‡๊ธฐ ๋•Œ๋ฌธ์—, ์ตœ์†Œ ์ผ์ฃผ์ผ๋™์•ˆ ์‹คํ—˜์„ ํ•˜๋Š” ๊ฒƒ์„ ์ถ”์ฒœํ•œ๋‹ค.
  • seasonality - ํŠน์ • ์‹œ์ฆŒ(e.g. ํฌ๋ฆฌ์Šค๋งˆ์Šค, ๊ณตํœด์ผ, ๊ฐ€์„, ์—ฌ๋ฆ„ ๋“ฑ)์— ๋”ฐ๋ผ์„œ๋„ ์œ ์ €๋“ค์ด ๋‹ค๋ฅด๊ฒŒ ํ–‰๋™ํ•  ์ˆ˜ ์žˆ๋‹ค. ์ด ์‹œ์ฆŒ๋„ ์‹คํ—˜์˜ ๊ธฐ๊ฐ„์„ ์ •ํ•  ๋•Œ ๊ณ ๋ คํ•ด์•ผ ํ•œ๋‹ค.
  • novelty effect - ์ƒˆ๋กœ์šด ๊ฒƒ์— ๋” ๋ฏผ๊ฐํ•˜๊ฒŒ ๋ฐ˜์‘ํ•˜๋Š” ํšจ๊ณผ๋ฅผ ์˜๋ฏธํ•œ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, ์ƒˆ๋กœ์šด ๋ฒ„ํŠผ์ด ํ™”๋ฉด์— ๋‚˜ํƒ€๋‚ฌ์„ ๋•Œ ์œ ์ €๋“ค์ด ํ˜ธ๊ธฐ์‹ฌ์œผ๋กœ ์ฒ˜์Œ์—๋Š” ๋งŽ์ด ๋ˆŒ๋Ÿฌ๋ณผ ์ˆ˜ ์žˆ๋‹ค. ํ•˜์ง€๋งŒ, ์‹œ๊ฐ„์ด ์ง€๋‚˜๋ฉด์„œ ๋œ ๋ˆ„๋ฅด๊ฒŒ ๋  ์ˆ˜ ์žˆ๋‹ค. ์ด๋Ÿฌํ•œ ๊ฒฝ์šฐ๊ฐ€ ์žˆ๊ธฐ ๋•Œ๋ฌธ์— ์œ ์ €๋“ค์ด ์ƒˆ๋กœ์šด ๋ณ€ํ™”์— ์ ์‘ํ•  ์ˆ˜ ์žˆ๋Š” ์‹œ๊ฐ„๊นŒ์ง€ ๊ณ ๋ คํ•ด์•ผ ํ•œ๋‹ค.

์‹คํ—˜์˜ ๋‹จ์œ„, ๋ชจ์ง‘๋‹จ, ํฌ๊ธฐ, ๊ธฐ๊ฐ„์ด ์‹คํ—˜์„ ์‹ค์ œ๋กœ ์ง„ํ–‰ํ•˜๊ธฐ ์ „์— ์ž˜ ์„ค๊ณ„๋˜์–ด์•ผ ํ•œ๋‹ค. ๋” ์ •ํ™•ํ•˜๊ฒŒ ์„ค๊ณ„๋  ์ˆ˜๋ก ์‹คํ—˜์˜ ๊ฒฐ๊ณผ๋„ ๋” ์‹ ๋ขฐํ•  ์ˆ˜ ์žˆ๊ฒŒ ๋œ๋‹ค.

2. ์‹คํ—˜ Runํ•˜๊ธฐ ๐Ÿƒโ€โ™‚๏ธ

์‹คํ—˜์„ ์ง„ํ–‰ํ•˜๋ ค๋ฉด ๋‹ค์Œ์˜ 2๊ฐ€์ง€๊ฐ€ ํ•„์ˆ˜์ ์ด๋‹ค:

  • Instrumentation - ์œ ์ €๋“ค์˜ ํ–‰๋™์„ ๋กœ๊น…ํ•˜๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์–ป๊ธฐ ์œ„ํ•ด (์ฑ…์˜ 13์žฅ Client-side Experiment ์ฐธ๊ณ )
  • Infrastructure - ์‹คํ—˜์„ ์ œ๋Œ€๋กœ runํ•˜๊ธฐ ์œ„ํ•ด, ์‹คํ—˜ ์„ค์ •๋ถ€ํ„ฐ ์œ ์ €๋ฅผ ํŠน์ • ๊ทธ๋ฃน์œผ๋กœ ํ• ๋‹นํ•˜๋Š” ๊ฒƒ ๊นŒ์ง€ (์ฑ…์˜ 4์žฅ Experimentation Platform and Culture ์ฐธ๊ณ )

์‹คํ—˜์„ runํ•˜๋ฉด์„œ ๋ฐ์ดํ„ฐ๋“ค์ด ์ž˜ ๋“ค์–ด์˜จ๋‹ค๋ฉด ์ด์ œ ๊ทธ ๋ฐ์ดํ„ฐ๋กœ ํ†ต๊ณ„์ ์ธ ๋ถ„์„์„ ํ•ด์•ผ ํ•œ๋‹ค.

3. ์‹คํ—˜ Analyzeํ•˜๊ธฐ ๐Ÿ”

์˜ˆ์‹œ๋Œ€๋กœ ์‹คํ—˜ํ•œ ๊ฒฐ๊ณผ ๋‹ค์Œ์˜ ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜์˜ค๊ฒŒ ๋˜์—ˆ๋‹ค.

result

p-value๊ฐ€ 0.05๋ณด๋‹ค ๋‚ฎ๊ธฐ ๋•Œ๋ฌธ์— control๊ณผ treatment์˜ ํ‰๊ท ์ด ๊ฐ™๋‹ค๋Š” Null hypothesis(๊ท€๋ฌด๊ฐ€์„ค)์„ ๊ธฐ๊ฐํ•œ๋‹ค. ํ†ต๊ณ„์ ์œผ๋กœ p-value๊ฐ€ 0.05๋ฏธ๋งŒ์ด๋ฉด ์œ ์˜๋ฏธํ•œ ๊ฒฐ๊ณผ๋ผ๊ณ  ๋ณธ๋‹ค.

์ฐธ๊ณ  ๋ธ”๋กœ๊ทธ

๐Ÿ“Ž p-value๋ž€?

๐Ÿ“Ž ๊ท€๋ฌด๊ฐ€์„ค

์ฆ‰, ์ฟ ํฐ ์ž…๋ ฅ์นธ์„ ๊ฒฐ์ œ ํŽ˜์ด์ง€์— ์ถ”๊ฐ€ํ•˜๋Š” ๊ฒƒ์€ ๋งค์ถœ์„ ์‹ค์ œ๋กœ ํ•˜๋ฝ์‹œํ‚จ๋‹ค๋Š” ๊ฒƒ์„ ์˜๋ฏธํ•œ๋‹ค. Treatment ํ™”๋ฉด์„ ๋ณธ ์œ ์ €๋“ค์ด controlํ™”๋ฉด์„ ๋ณธ ์œ ์ €๋“ค๋ณด๋‹ค ์‹ค์ œ๋กœ ๊ฒฐ์ œ๋ฅผ ๋œ ํ–ˆ๋‹ค๋Š” ๊ฒƒ์„ ์˜๋ฏธํ•œ๋‹ค.

๐Ÿคฆ ๋งˆ์ผ€ํŒ… ํŒ€์ด ์ด๋ฉ”์ผ๋กœ ์œ ์ €๋“ค์—๊ฒŒ ์ฟ ํฐ์„ ๋ณด๋‚ด๋ ค๊ณ  ํ–ˆ๋˜ ์‹œ๋„๋Š” ์˜คํžˆ๋ ค ๋งค์ถœ์— ์•…์˜ํ–ฅ์„ ๋ผ์น  ๋ป” ํ–ˆ๋˜ ๊ฒƒ์ด๋‹ค.

์ด์™€ ๊ฐ™์ด ์‹คํ—˜์„ ํ†ตํ•ด์„œ ๋ฐ์ดํ„ฐ ๋“œ๋ฆฌ๋ธ ์˜์‚ฌ๊ฒฐ์ •์„ ํ•  ์ˆ˜ ์žˆ๋Š” ๊ฒƒ์ด๋‹ค.

โœ๏ธ ๋‹ค์Œ ํฌ์ŠคํŠธ๋Š” Experimentaion Platform and Culture๋ผ๋Š” ๋‚ด์šฉ์„ ์š”์•ฝํ•˜๋ ค๊ณ  ํ•œ๋‹ค.

ยฉ 2021 Dojin Kim, Built with Gatsby