Aug 02, 2020 β€’1 min read β˜•

🏎 [μ±… μš”μ•½] Trustworthy Online Controlled Experiments - ch5 Speed Matters

Trustworthy Online Controlled Experiments: A Practical Guide to A/B TestingλΌλŠ” 책을 읽고 μš”μ•½ν•˜κ³  μžˆλ‹€. 이 ν¬μŠ€νŠΈμ—μ„œλŠ” 5μž₯: Speed Matters에 λŒ€ν•΄ 닀루고 μžˆλ‹€.

κΈ€μ—μ„œ μ–˜κΈ°ν•˜λŠ” μ‹€ν—˜μ€ online controlled experimentλ₯Ό μ˜λ―Έν•œλ‹€. online controlled experiment은 λ•Œλ‘œ A/B ν…ŒμŠ€νŠΈλΌκ³ λ„ λΆˆλ¦°λ‹€.

πŸ“• 4μž₯μ—μ„œλŠ”Β μ‹€ν—˜ ν”Œλž«νΌμ˜ 단계와 μ‹€ν—˜ν”Œλž«νΌμ„ κ΅¬μΆ•ν•˜κΈ° μœ„ν•΄ ν•„μš”ν•œ μš”μ†Œλ“€μ— λŒ€ν•΄ 정리λ₯Ό ν–ˆλ‹€. 이번 ν¬μŠ€νŠΈμ—μ„œλŠ” μ„œλΉ„μŠ€μ˜ 속도λ₯Ό κ°œμ„ ν•˜λŠ” 것이 μ–΄λ– ν•œ κ²°κ³Όλ₯Ό κ°€μ Έμ˜¬ 수 있고, 속도 κ°œμ„  μ‹€ν—˜μ€ μ–΄λ–»κ²Œ ν•  수 μžˆλŠ”μ§€ 닀뀄보렀고 ν•œλ‹€. (맀우 짧은 ν¬μŠ€νŠΈμ΄λ‹€)

μ‹€ν—˜μ— λŒ€ν•œ λ§Žμ€ μ˜ˆμ œλ“€μ€ 주둜 μ–΄λ–»κ²Œ UI(User Interface)에 λ³€ν™”λ₯Ό μ€˜μ„œ λͺ©ν‘œλ₯Ό λ‹¬μ„±ν–ˆλŠ”μ§€μ— λŒ€ν•΄μ„œ 닀룬닀. ν•˜μ§€λ§Œ, λ°±μ—”λ“œ μ‚¬μ΄λ“œμ—λ„ μ„œλΉ„μŠ€λ₯Ό κ°œμ„ μ‹œν‚¬ 수 μžˆλŠ” μ—„μ²­λ‚œ κ°€λŠ₯성이 μ‘΄μž¬ν•œλ‹€. 특히, λ°±μ—”λ“œμ—μ„œ λΉ λ₯΄κ²Œ μ²˜λ¦¬ν•  수둝 μ’‹λ‹€λŠ” 것이 λ§Žμ€ λ‹€λ₯Έ κΈ°μ—…λ“€μ˜ μ‹€ν—˜μ„ ν†΅ν•΄μ„œ 증λͺ…λ˜μ—ˆλ‹€.

μ„œλΉ„μŠ€κ°€ 100ms 빨라진닀고 뭐가 λ‹¬λΌμ§ˆκΉŒ?

‼️달라진닀. 2017λ…„ Bing의 μ‹€ν—˜ κ²°κ³Ό, 100ms의 속도가 κ°œμ„ λ  λ•Œλ§ˆλ‹€ $1800만의 μΆ”κ°€ μˆ˜μ΅μ„ κ±°λ’€λ‹€κ³  ν•œλ‹€.

λ¬Όλ‘  μ œν’ˆ μ „μ²΄μ μœΌλ‘œ 퍼포먼슀λ₯Ό κ°œμ„ ν•˜λŠ” 것이 bestμ§€λ§Œ, μ‹€μ œλ‘œλŠ” κ·Έλ ‡κ²Œ ν•˜κΈ°κ°€ μ–΄λ ΅λ‹€. κ·Έλ ‡λ‹€λ©΄ μ΅œμ†Œν•œ μ œν’ˆμ—μ„œ νΌν¬λ¨ΌμŠ€κ°€ μ €ν•˜λ  λ•Œ κ°€μž₯ μ‘°μ§μ—κ²Œ ν¬λ¦¬ν‹°μ»¬ν•œ 이슈λ₯Ό κ°–κ³  올 수 μžˆλŠ” 뢀뢄을 κ°œμ„ ν•΄μ•Ό ν•œλ‹€.

κ·Έλ ‡λ‹€λ©΄ μ œν’ˆ μ–΄λŠ λΆ€λΆ„μ˜ latencyλ₯Ό 쀄여야 ν•˜λŠ”μ§€ μ–΄λ–»κ²Œ μ•Œ 수 μžˆλ‚˜?

🐒 slowdown μ‹€ν—˜

κ°„λ‹¨ν•˜μ§€λ§Œ, κ°•λ ₯ν•œ slowdown μ‹€ν—˜ (속도 μ €ν•˜ μ‹€ν—˜)μ΄λΌλŠ” μ‹€ν—˜ ν…Œν¬λ‹‰μ„ 톡해 μœ„ μ§ˆλ¬Έμ— λŒ€ν•œ ν™•μ‹€ν•œ 닡변을 얻을 수 μžˆλ‹€. μ œν’ˆμ˜ μ—¬λŸ¬ νŒŒνŠΈμ— ν•΄λ‹Ή μ‹€ν—˜μ„ 진행을 ν•˜κ³ , μ–΄λŠ λΆ€λΆ„μ—μ„œμ˜ 속도 μ €ν•˜κ°€ 쑰직의 μ§€ν‘œμ— κ°€μž₯ μ•…μ˜ν–₯을 λΌμΉ˜λŠ”μ§€ 확인 ν•΄ λ³Ό 수 μžˆλ‹€. μ‹€ν—˜μ˜ κ²°κ³Όλ₯Ό 톡해 μ œν’ˆμ˜ μ–΄λ–€ 파트의 퍼포먼슀λ₯Ό κ°œμ„ μ‹œμΌœμ•Ό 쑰직이 μ›ν•˜λŠ” μ§€ν‘œλ₯Ό μƒμŠΉμ‹œν‚¬ 수 μžˆμ„ 지 μ•Œ 수 있게 λœλ‹€.

Amazonμ—μ„œ 100ms slowdown μ‹€ν—˜μ„ μ§„ν–‰ν–ˆμ—ˆκ³ , 속도가 μ €ν•˜λ˜μ—ˆμ„ λ•Œ 1%의 맀좜이 쀄어든 것을 ν™•μΈν–ˆλ‹€.

이처럼 μ„œλ²„ μ‚¬μ΄λ“œμ˜ 퍼포먼슀 κ°œμ„ μ„ 톡해 쑰직이 μ€‘μš”μ‹œ ν•˜λŠ” μ§€ν‘œλ₯Ό 많이 κ°œμ„ μ‹œν‚¬ 수 μžˆμŒμ„ λ‹€λ₯Έ κΈ°μ—…λ“€μ˜ slowdown μ‹€ν—˜μ„ 톡해 μ•Œ 수 μžˆλ‹€.

이번 ν¬μŠ€νŠΈλŠ” Speed의 μ€‘μš”μ„±μ„ μ‹€ν—˜μ„ ν†΅ν•΄μ„œ 증λͺ…ν•  수 μžˆλ‹€λŠ” 것에 μ΄ˆμ μ„ λ’€λ‹€.

✍️ λ‹€μŒ ν¬μŠ€νŠΈλŠ” Organizational Metrics에 λŒ€ν•œ λ‚΄μš©μ„ μš”μ•½ν•˜λ €κ³  ν•œλ‹€.

Β© 2021 Dojin Kim, Built with Gatsby