확률 추정의 여러 가지 방법들 :: 통계의 기본 개념 - mindscale
Skip to content

확률 추정의 여러 가지 방법들

최대 우도 추정법(Maximum Likelihood Estimation)

  • 예1) 동전 10번을 던졌을 때 앞면이 7번 나왔다면 이 동전이 앞면이 나올 확률은?
  • 예2) 치킨집에 고객이 10명이 다녀갔는데 3명은 그냥 구경만 했고 7명이 구매를 했을 때 고객이 구매를 할 확률은?
  • 7/10 = 0.7 = .7 = 70%
  • 상식적으로 생각할 수 있는 방법s
  • 각각의 추정은 당연히 틀릴 수 있음
  • 그러나 평균적으로는 실제 확률과 비슷하게 됨
  • 예) 실제 확률이 50%인 경우에 ML 추정을 하면 45%, 60%, 55% 등이 벗어나게 추정을 할 수 있지만 각각을 평균 내보면 실제와 비슷하게 나옴
  • 데이터가 많을수록 실제 확률과 비슷함
  • 따라서 ML의 해결책은 데이터를 많이 모으는 것

평활법(smoothing)

  • ML이 아닌 해결책
  • 확률을 평평하게 즉, 비슷비슷하게 만드는 것

Add one smoothing

  • 예) 총 고객 10명, 구경 3명, 구매 7명일 때 모든 건수에 1씩 더해 총 고객 12명, 구경 4명, 구매 8명이 됨
  • 7/10이 아닌 8/12(0.6666667)가 됨
  • 약 67%로 추정됨
  • 구경한 고객과 구매한 고객의 차이가 줄어듦
  • 극단적인 경우를 막아줌
    • 구매 고객 10명, 총 고객 10명일 때와 같이 극단적이 경우 Add one smoothing 방법을 사용
    • 10/10 -> 11/12(0.9166667)
  • 데이터가 적을 때 극단적인 예측을 막아줌
  • Blackswan: 가지고 있던 데이터에 없던 새로운 사례가 나타나면 그것은 예측하지 못함, 백조는 항상 흰 색이라고 예측을 해왔는데 검은 백조가 발견되었고 이는 예측하지 못했음.
  • 있음직한 가능성을 염두에 두고 계산을 하는 방법

Additive smoothing

  • 데이터가 많을 때 주로 사용
  • 고객 만 명, 구경 3천명, 구매 7천명
  • Add one smoothing을 하면 7001/10002 = 약 70%
  • 꼭 1이 아닌 10, 100, 1000 등을 더해도 괜찮음
  • 더하는 수가 커질수록 더 평평해져 추정하는 확률이 50%에 가까워짐
  • 예) 구매 7명, 구경 3명, 총 고개 10명일 때 각각 건수에 10을 더한다면
  • 구매 17명, 구경 13명, 총 30명 17/30 = 약 57%
  • 더하는 숫자를 각각 다르게 해줄수도 있음
  • 예) 구매 7명, 구경 3명, 총 10명일 때 구매에는 1명을, 구경에는 2명을 더해줌
  • 더해주는 숫자의 의미는?
  • 모두가 비슷할거라는 믿음을 반영함

베이지언 통계

  • 사전 믿음 + 데이터 -> 사후 믿음
  • 데이터를 가지고 믿음을 변경
  • 사전확률분포가 베타 분포인 경우 최대사후확률 추정치와 같음

정리

  • 기초통계에서 ML 추정만 다룸
  • 평활법은 잘 사용하지는 않음
  • 실무적으로 데이터가 적을 때 Add one smoothing 사용하기도 함
  • 데이터가 많으면 ML, 평활법, 베이지언 통계의 결과가 비슷함