앞선 포스팅에서 유의확률, 유의수준 그리고 p값(p-value)에서 알아본 김에,조금 더 이에 대해서 생각해볼만한 내용을 정리하고자 한다. 이 내용은 "A/B 테스트에서 p-value에 휘둘리지 않기"라는 제목의 글을 참조한 것이고,정확한 출처는 내용 하단에 밝힌다. A/B 테스트 결과 분석은 주로 빈도주의 관점에서 유의성 검정을 따른다. 문제는 유독 유의확률(p-value)에만 신경을 쓰느라 제대로 실험 결과를 해석하지 않는다는 점이다. 실험의 목적은 얼마나 효과가 있는지 살펴보는 것이지 통계적 유의성(statistical significance)만을 확보하는 것이 아니다. 우선, 들어가기전에 p-value의 의미를 다시 짚어보자. A/B 테스트에서는 마냥 p-value가 작아질 때까지 실험 결과를 모..
