가능도와 최대가능도추정법(MLE)의 개념과 특징

가능도와 최대가능도추정법(MLE)

가능도(Likelihood)란 모수(parameter)가 주어졌을 때, 어떤 표본이 나올 가능성을 의미한다. 즉, ‘그럴듯한 정도’를 나타내는 개념이다.

예를 들어 동전을 두 번 던졌다고 하자. 결과가 앞-뒤(H-T)라면, 가능한 모수는 ‘앞면이 나올 확률 θ’다. 만약 θ = 1/2라면, 가능도는
L(θ) = 1/2 × 1/2 = 1/4이다. 반대로 θ = 1/3이라면, 가능도는
L(θ) = 1/3 × 2/3 = 2/9가 된다.

 

가능도 함수와 로그 가능도

가능도 함수는 모수 θ를 입력하면 해당 가능도를 반환하는 함수로, L(θ)로 나타낸다. 위의 예에서
L(θ) = θ × (1 – θ)와 같다.

로그 가능도(log-likelihood)는 가능도에 로그를 취한 값이다. 로그를 취하는 이유는 다음과 같다.

• 곱셈을 덧셈으로 바꿔 계산이 편해진다.
  예: log(xy) = log x + log y
• 가능도 값이 너무 작아지는 문제를 완화할 수 있다.
  확률을 곱하면 0에 가까운 수가 되기 쉬운데, 로그를 쓰면 안정된 값으로 바뀐다.
• 로그를 취해도 최댓값을 주는 θ는 변하지 않는다.

 

최대 가능도법(MLE)

최대 가능도법(Maximum Likelihood Estimation)은 가능도(또는 로그 가능도)를 최대화하는 θ를 추정하는 방법이다.

예를 들어 θ = 1/2일 때 L(θ) = 1/4, θ = 1/3일 때 L(θ) = 2/9라면, 1/4이 더 크므로 θ = 1/2가 추정값이 된다. 이때의 θ를
최대가능도 추정량이라고 한다. 최대화된 로그 가능도 값은
최대화 로그 가능도라 한다.

 

장애모수(nuisance parameter)

장애모수는 관심의 대상이 아닌 모수를 말한다. 예를 들어 정규분포에서 모수가 평균 μ와 분산 σ² 두 개가 있을 때, 평균에만 관심이 있고 분산은 이미 알고 있다고 간주한다면 분산이 장애모수가 된다.

최대 가능도 추정을 할 때, 이런 장애모수는 고정되거나 제거된 상태로 계산된다.

 

최대가능도 추정량의 성질

최대가능도 추정량은 점근적 정규성과 점근 유효 추정량이라는 성질을 갖는다.

• 점근적 정규성: 표본 수가 무한히 커지면 추정량의 분포가 정규분포를 따른다.
• 점근 유효 추정량: 점근적 정규성을 갖는 추정량 중 분산이 가장 작은 추정량이다.

즉, 최대가능도 추정량은 표본 수가 많을수록 오차가 작고 안정적인 추정을 제공하므로, 이론적으로도 바람직한 추정법이라 할 수 있다.