[책] 헬로 데이터과학 -(2) 유의확률, 유의수준

헬로 데이터과학 - (2)

데이터를 분석할 때 가장 많이 나오는 개념 중 하나이며, "헬로 데이터 과학" 책을 읽고 이해함에 있어서도 필수적으로 이해하고 있어야 하는 개념이 바로 유의확률(significance probability)이며, p값(p-value)라고도 한다.

유의확률은 가설(H0, H1)과 연계되는 개념으로,

실제로는 H0가 참인데도 불구하고, H1이라고 잘못 선택할 확률(제1종 오류를 범할 확률)을 의미한다.

다르게 표현하면 "H1이다"라고 주장했는데, 그것이 틀릴 확률이다.

예를들어, 남자의 키와 여자의 키를 비교해서 남자가 여자보다 더 키가 큰지를 검정하는 경우를 생각해보면, 가설은 다음과 같을 수 있다.

• H0: 남자의 키와 여자의 키는 같다.
• H1: 남자의 키와 여자의 키는 다르다.

실제로 통계학에서는 이 가설을 검정할 때 H0가 아니라는 증거를 수집해서 제시하는 것이 p값이다.

쉽게 말해, H1이라는 증거를 수집하는 것이고, 그 증거가 바로 p값이다.

만약 p값이 0.05이라고 한다면, 그 의미는

원래는 남자와 여자의 키가 같은데, 표본을 뽑다보니 우연히도 남자에서는 키가 큰 사람만 뽑힌 경우, 평균은 남자가 여자보다 큰 결과를 나오게 된다. 즉, 이와 같은 현상이 일어날 확률이 0.05(5%)이라는 의미이다.

다른말로 표현하면, "남자와 여자의 키가 다르다. 즉, 남자가 여자보다 크다"라고 결론을 내렸는데, 이 결론이 틀릴 확률이 5%라는 의미이다. 거꾸로 말하면, 우리가 내린 결론이 맞을 확률이 0.95(95%)라는 의미이며, "H1이다. 즉, 성별에 따른 키는 유의한 차이가 있다"라는 결론을 내릴 수 있게 된다.

---

그럼, 앞서 언급한 가설에 대한 개념과 p값이 설정되는 방법에 대해 좀 더 알아보자.

"p값이 0.05보다 작으므로 95%의 유의수준 하에서 귀무가설을 기각한다'

논문이나 데이터분석 관련 자료들을 보면 심심찮게 볼 수있는 문장이다. 

가설검정은 모집단의 특징에 대한 통계적 가설을 추출된 표본을 통해 검토하는 추론 방법이다.

일반적으로 주장하고자 하는 사실을 대립가설(H1)로,

반대로 기각하고자하는 사실을 귀무가설(H0)로 세운다.

다시 위에서 언급한 예제를 들어 설명하면 다음과 같이 이야기할 수 있다.

• H0(귀무가설): 남자의 키와 여자의 키는 같다.
• H1(대립가설): 남자의 키와 여자의 키는 다르다.

표현한 것과 같이, 주장하고자 하는 것을 대립가설로 설정했다.

만약 대립가설이 사실이라면 귀무가설을 기각한다고 하고,

대립가설이 거짓이라면 귀무가설을 채택한다고 한다.

하지만, 여기에는 오류의 가능성이 존재할 수 있는데,

만약 귀무가설이 사실인데 기각했을 경우 1종 오류를 범했다고 한다.

또한 만약 귀무가설이 거짓인데 채택했을 경우 2종 오류를 범했다고 한다.

그럼 이제, 유의수준과 p값에 대한 이야기를 해보자.

가설검정의 결론을 위해서는 검정 통계량을 구한 뒤 일정 기준을 만족시키는가를 확인해야한다.

여기서 그 "기준"이 되는 척도가 유의수준과 p값이다.

즉, 귀무가설이 옳다는 가정 하에 검정 통계량이 계산될 확률이 바로 p값이다.

p값은 유의확률이라고도 하며, 정해진 유의수준보다 작을수록 좋다.

주장하고 싶은 사실과 반대인 귀무가설이 옳다는 가정 하에 계산된 확률이기 때문이다.

이 때, "귀무가설이 옳다는 가정"을 하는 이유는 다음과 같다.

주장하고 싶은 대립가설을 만족시키기 위해, 귀무가설이 기각되어야 하는데,

귀무가설이 기각되려면 그것이 거짓이어야 하지만, 그렇지 않을 경우도 대비해야 하기 때문이다.

따라서, 귀무가설이 옳은데 실수로 기각될 확률, 즉 1종 오류를 범하게 될 확률을 최소화 해야한다.

이를 위해서, 가설검정에서는 1종 오류의 상한선을 미리 설정해두고 이를 넘지않도록 규정한다.

여기서 그 상한선이라는 것이 바로 유의수준이다.

유의수준은 신뢰수준의 반대말로도 해석될 수 있다.

만약 귀무가설이 옳다는 가정 하에 검정 통계량이 계산될 확률인 p값이 정해진 유의수준을 넘어선다면,

1종 오류를 범할 가능성이 커졌다고 간주하고 귀무가설을 함부로 기각하지 않는 것이다.

위에서 제시했던 예시를 들어 설명을 해보자면.

만약 검정 통게량을 구했고, 유의 수준이 0.05(즉 신뢰도 95%)이라면,

p값이 0.05보다 작은, 예를 들어 0.03이 나왔을 경우에는 귀무가설을 기각한다는 것이다.

즉, "남자와 여자의 키가 다르다. 즉, 남자가 여자보다 크다"라는 사실을

신뢰수준 95%의 확률로 주장할 수 있는 것이다.

---

#참고

이렇게 편리한 가설검정의 문제점도 분명히 존재한다.

1. 유의수준이 0.05인 경우 p값이 0.045처럼 근접하게 나온다면, 함부로 귀무가설을 기각하면 안된다는 점이다. 1종 오류를 범할 확률이 상대적으로 크다고 볼 수 있기 때문이다.

2. 가설검정의 결과에서 흔히 이분법적 해석이 들어가는데, 이는 매우 위험한 해석일수도 있다.

예를 들어 어떤 두 집단 사이의 평균 차이를 가설검정한다고 할때, 대립가설이 "두 집단은 차이가 있다"라면, 만약 p값이 유의수준보다 높아 귀무가설을 채택한 경우 "두 집단의 평균 차이는 없다"라는 결론이 난다. 그러나, 세상의 모든 명제가 이렇게 이분법적으로 결론나진 않을 수 있기 때문에 문제가 될 수 있다.

---

출처

[1] http://www.statedu.com/term/7341

[2] http://blog.naver.com/PostView.nhn?blogId=vnf3751&logNo=220830413960&parentCategoryNo=&categoryNo=25&viewDate=&isShowPopularPosts=true&from=search