memo5427 님의 블로그

손실 함수와 최소제곱법, 그리고 최대가능도법의 연결고리

손실 함수와 최소제곱법, 그리고 최대가능도법의 관계모델에 잘 들어맞는 parameter를 추정하는 방법에는 최대가능도법(MLE)과 손실 최소화 방식이 있다.최대가능도법(Maximum Likelihood Estimation, MLE)은 모델이 주어진 데이터를 얼마나 잘 설명하는지를 가능도(likelihood)라는 수치로 나타내고, 이 수치를 가장 크게 만드는 parameter를 추정하는 방법이다. 반면, 손실 최소화 방식은 기계학습에서 널리 사용되며, 모델과 실제 값 사이의 차이(Loss)를 최소화하는 방향으로 parameter를 찾는다. 손실 함수란 무엇인가 손실 함수(Loss Function)는 parameter를 추정할 때 손실을 정의하고, 그 손실을 최소화하도록 parameter를 선택하는 함수다...

가능도와 최대가능도추정법(MLE)의 개념과 특징

가능도와 최대가능도추정법(MLE)가능도(Likelihood)란 모수(parameter)가 주어졌을 때, 어떤 표본이 나올 가능성을 의미한다. 즉, ‘그럴듯한 정도’를 나타내는 개념이다.예를 들어 동전을 두 번 던졌다고 하자. 결과가 앞-뒤(H-T)라면, 가능한 모수는 ‘앞면이 나올 확률 θ’다. 만약 θ = 1/2라면, 가능도는L(θ) = 1/2 × 1/2 = 1/4이다. 반대로 θ = 1/3이라면, 가능도는L(θ) = 1/3 × 2/3 = 2/9가 된다. 가능도 함수와 로그 가능도가능도 함수는 모수 θ를 입력하면 해당 가능도를 반환하는 함수로, L(θ)로 나타낸다. 위의 예에서L(θ) = θ × (1 – θ)와 같다.로그 가능도(log-likelihood)는 가능도에 로그를 취한 값이다. 로그를 취하는..

통계 모델건축가들은 실제 집을 짓기 전에 모형 집을 먼저 만든다. 모형 집을 통해 실제 집의 대략적인 구조를 가늠하고 계획을 세우기 위함이다. 확률과 통계에서도 이와 비슷하게, 현실 세계를 단순화하여 예측할 수 있게 만든 모형을 모델(Model) 이라고 부른다. 이러한 모델을 만드는 과정을 모델링(Modeling) 이라고 하며, 특히 통계 모델(Statistical Model) 을 만드는 것을 통계 모델링(Statistical Modeling) 이라고 한다. 즉, 모델을 통해 복잡한 현실을 간략히 표현하고 예측할 수 있는 형태로 바꾸는 것이다.예시음료수 매출을 예로 들어보자. 매출에 영향을 미치는 요인은 기온, 습도, 연령대 인구 분포, 원재료 공급량 등 다양하다. 그 중 기온과 매출의 관계에 집중하여,..