통계적 가설검정

우리가 보통 말하는 가설 검정, 과학에서 가설검정은 우리가 입증하고자 하는 바를 가설로 세우고, 이를 지지하는 근거를 제시합니다. 이것을 실증주의(positivism)라고 합니다.

그런데 통계학의 초기 인물들은 좀 특이한 관점을 가지고 있었는데요, 그들은 무언가를 입증하는 것이 아니라 반대로 잘못된 주장을 반증하는 것이 중요하다는 생각을 했습니다. 이 생각에 바탕을 두고 만들어진 기법이 통계적 가설검정입니다.

통계적 가설검정의 아이디어는 이렇습니다. 일단 우리가 반박하고자 하는 가설을 세웁니다. 이 가설을 귀무가설(null hypothesis)라고 합니다. "귀무"는 "무로 돌아간다"는 뜻입니다. 없애버릴 가설이라는 것이죠. 이 귀무가설을 일단은 참이라고 가정을 합니다. 귀무가설이 참일 때, 우리가 가진 데이터가 관찰될 가능성을 계산해봅니다. 이렇게 계산한 수치를 p 값이라고 합니다.

만약 이 p 값이 유의수준(significance level)이라는 기준보다 낮다면, 귀무가설이 참일 경우 우리가 가친 데이터가 관찰될 가능성인 별로 없다는 뜻이 됩니다. 바꿔말하면 귀무가설이 거짓이라고 할 수 있겠지요. 그러면 귀무가설을 기각하고, 그에 반대되는 대립가설(alternative hypothesis)을 채택하게 됩니다. 사실은 이 대립가설이 우리가 진짜로 하고 싶었던 이야기입니다.

그러면 p 값이 높으면 어떻게 될까요? 그러면 특정한 결론을 내리지 않습니다. 왜냐하면 p 값이 높으면 귀무가설에서 우리가 가진 데이터가 나올 가능성이 높지만, 다른 가설에서 나올 가능성도 없는 게 아니거든요. 논리에서 보면 A → B일 때, not B → not A는 성립하지만 B → A는 성립하지 않는 것과 같습니다.

언뜻 들으면 말이 되는 것 같기도 하고, 굉장히 좀 이상한 논리인데요, 현재 와서는 상당히 비판도 많이 받고 있습니다. 실제로 미국통계학회에서는 2016년에 통계적 가설검정을 좀 적당히 써야된다는 성명을 내놓기도 했습니다. 하지만 워낙 오랫동안 써온 방법이기 때문에 여전히 많이 쓰는 방법이기도 합니다.

신뢰구간과 통계적 가설 검정

사실 통계적 가설검정은 앞서 소개한 신뢰구간과 계산 방법이 거의 똑같습니다. 접근하는 방식이 반대인 것인데요, 신뢰구간은 우리가 가진 통계량을 바탕으로 모수에 대해 추정합니다. 통계적 가설 검정은 반대로 모수에 대해 귀무가설을 세우고 우리가 가진 통계량이 관찰될 가능성을 계산합니다. 즉, 두 방법은 동전의 양면과도 같은 관계라고 할 수 있습니다.

그래서 두 가지 방법의 결과는 항상 짝을 이룹니다. 귀무가설에서 가정한 모수가 95% 신뢰구간을 벗어난다면, 그 경우에 p 값은 5% 밑으로 내려가게 됩니다. 따라서 유의수준 5%의 통계적 가설검정과 95% 신뢰구간의 결과는 짝을 이루게 됩니다. 유의수준 1%의 가설검정과 99% 신뢰구간의 결과도 마찬가지입니다.