경영 의사 결정을 위한 가설 검정 - Part 2

확률 분포

다음 주제로 넘어가기 전에, 흔히 시각적으로 표현되는 ‘확률 분포’라는 개념에 대해 면저 확인겠습니다.

y축은 확률(0에서 1 또는 0에서 100%)을 나타내고, x축은 확률변수를 나타냅니다.

분포의 모양은 정규 분포일 수도 있고, 오른쪽(양쪽 편향)이나 왼쪽(음쪽 편향)으로 치우쳐 있을 수도 있다는 점을 기억하실 겁니다.

정규 분포에서는 곡선이 평균을 중심으로 대칭을 이룹니다. 편향된 분포에서는 대칭을 깨는 몇 개의 이상치(발생 확률이 낮은 값)가 존재합니다.

 

귀무 확률 분포

가설 검정에서 우리는 x축을 특정 검정 통계량(본문 후반부에서 다루게 될 내용)의 값으로 설정하여 귀무 확률 분포를 나타냅니다.

이 분포의 평균은 가설 값입니다(아래 구글 이직률 예시의 경우 0.13). 표본 데이터를 사용하여 계산한 검정 통계량의 p-값이 임계값 이하일 때만 귀무가설을 기각(또는 “현상 유지”를 뒤집음)할 수 있습니다.

귀무 분포는 항상 정규 분포일까요? 아닙니다. 단지 설명을 단순화하기 위해 정규 분포로 가정했습니다. 이런 가정은 이유가 있습니다. 중심극한정리에 따라 표본 크기가 커질수록 귀무 분포가 정규 분포에 가까워지는 경향이 있기 때문입니다. 이 정리는 별도의 블로그 글로 다룰 만한 주제이지만, 일단 다음과 같이 설명해보겠습니다.

우리가 사업을 운영하고 있다고 가정해 봅시다. 1,000명의 고객 집단에게 만족도를 1점에서 10점(10점이 최고 점수)까지 평가해 달라고 요청했습니다.
그 결과, 1,000개의 점수를 수집했습니다. 이 1,000개의 점수 분포는 정규 분포일 수도 있고 아닐 수도 있습니다. 중심극한정리가 알려주는 것은, 이 모집단에서 추출한 표본 평균의 분포가 정규 분포라는 사실입니다.
그렇다면 우리의 표본은 무엇일까요? (이 1,000개 중) 100개의 점수를 무작위로 선택하여 평균 점수를 계산했다고 가정해 봅시다. 이 표본의 평균이 6.5라고 가정해 봅시다.

그러면 100개의 점수를 복원한 다음, 또 다른 100개의 점수 표본을 추출하여 그 평균도 계산합니다.
이 과정을 '대체 추출(sampling with replacement)'이라고 하며, 이 예시에서 표본 크기는 100입니다. 두 번째 표본의 평균 점수는 3.8일 수 있습니다.
이 과정을 반복하여 표본 평균(즉, 100명당 평균 점수)의 분포를 시각화하면 정규 분포를 볼 수 있습니다.
이 분포의 평균은 원래 모집단(즉, 1,000개의 점수)의 평균과 일치합니다. 예를 들어, 1,000명의 고객 점수 평균이 7이라면, 표본 평균의 표본 분포는 다음과 같이 나타납니다

 

원본 모집단의 분포가 어떠하든, 표본 평균의 분포는 정규 분포를 따릅니다. 표본 크기가 클수록 정규 분포에 더 가깝게 됩니다.
그리고 표본 평균들의 평균은 원본 모집단의 평균으로 수렴합니다.
이것이 바로 중심극한정리입니다. 통계학에서 정규 분포는 잘 정의되어 있으며, 일부 통계 검정은 정규성을 전제로 합니다.
그러나 앞의 그래프에서 볼 수 있듯이, 특히 양쪽 끝부분(앞의 그래프에서 빨간색으로 표시된 부분)에서는 확률이 더 낮은 다른 표본 평균들도 존재합니다.

더 구체적으로 말하면, 표본 평균의 95.44%가 평균의 2표준편차 범위 내에 있습니다.
즉, 데이터의 약 2.5%는 2표준편차 아래에, 또 다른 2.5%는 2표준편차 위에 위치합니다.
우리가 실제로 의미하는 바는 이렇습니다. 표본 평균 점수의 변동성을 고려할 때, 7 근처의 분포가 원래 모집단을 더 정확하게 나타냅니다.
그러나 양쪽 꼬리 부분(각 꼬리에서 2.5%)은 그렇지 않습니다. 왜냐하면 이러한 결과는 발생할 확률이 매우 낮기 때문입니다. 다시 말해, 우리는 그 꼬리 부분의 표본 평균이 모집단을 대표한다고 확신할 수 없습니다.
이것이 귀무 가설을 기각하는 근거입니다. 우리는 표본 데이터가 대립 가설을 지지하기 위해 귀무 확률 분포의 양쪽 꼬리 부분에 속하기를 기대합니다.
꼬리 부분에 속하는 어떤 값도 해당 분포를 대표하지 않습니다.
앞서 예시에서는 양쪽 꼬리 각각 2.5%를 언급했습니다. 하지만 만약 표본 데이터가 꼬리 부분의 3%에 속한다면 어떨까요? 다시 말해, 귀무 가설을 기각할 수 있다고 판단하기 위한 기준은 무엇일까요?

유의수준(알파, α)

어떻게 하면 귀무가설을 기각할 충분한 증거가 있다고 말할 수 있을까요?
대립가설은 과학자가 설정한 유의수준(보통 α = 0.05) 내에서만 (충분한 근거가 있다고 간주되어) 수용됩니다.

 

알파(α)는 제1종 오류의 확률로, 참인 귀무가설을 기각할 때 발생하는 오류입니다. 알파를 5%로 설정하면, 5%의 확률로 제1종 오류를 범할 수 있게 됩니다.
그래프상으로 알파는 검정통계량이 도달하려고 하는 귀무가설 분포의 꼬리 부분입니다.
확률 곡선의 전체 면적은 1(또는 100%)입니다. 따라서 알파가 0.05라면 귀무 가설을 기각할 수 있는 영역이 5% 남는다는 의미입니다.
일반적인 알파 값은 10%, 5%, 1%입니다. 제1종 오류를 범할 때의 비용이 클수록, 과학자가 설정하는 알파 값은 낮아집니다.
예를 들어, 암 치료에 관한 의학 연구에서는 α = 1%를 사용하는 경향이 있습니다. 이는 제1종 오류가 발생할 확률을 1%로 제한하기 위함입니다.
귀무 가설을 기각하려면, 표본 데이터의 p-값("확률 값")이 알파보다 낮아야 합니다.

 

<출처: https://medium.com/data-science-collective/introduction-to-hypothesis-testing-for-business-decision-making-fa4a3cad755f>