정규 선형 모델 이해하기: 선형 모델, 회귀, 분산 분석, 기계학습 관점까지

 

파라메트릭 모델이란?

파라메트릭 모델(parametric model)은 데이터를 특정 분포를 따른다고 가정하고 그 분포의 파라미터를 추정하는 모델이다. 이때 어떤 분포를 가정하느냐에 따라 모델의 성격이 달라진다.

 

 

선형 모델의 개념

파라메트릭 모델 중에서 선형 모델(linear model)은 종속 변수와 독립 변수 간의 관계가 선형으로 표현되는 모델이다. 선형이란 입력 변수들의 선형 결합으로 결과를 예측한다는 의미다.

 

 

일반 선형 모델과 정규 선형 모델

선형 모델에서 종속 변수가 정규 분포(Normal Distribution)를 따른다면 이를 정규 선형 모델(Normal Linear Model)이라고 한다.

더 넓게는 일반 선형 모델(General Linear Model)이라는 개념이 있는데, 이는 종속 변수가 정규 분포뿐 아니라 이항 분포, 포아송 분포 등 다양한 분포를 따를 수 있는 모델이다.

그 중 정규 분포인 경우만 특별히 정규 선형 모델이라 부른다.

정규 선형 모델의 종속 변수는 연속형 변수이며, 값의 범위는 마이너스 무한대에서 플러스 무한대까지 열린다.

 

 

정규 선형 모델의 유형: 회귀와 분산 분석

정규 선형 모델은 독립 변수의 형태에 따라 두 가지로 나뉜다.

• 회귀 분석(Regression Analysis)
  독립 변수가 연속형 변수일 때 사용한다.
  • 독립 변수가 1개면 단순 회귀 분석(Simple Regression)
  • 여러 개면 다중 회귀 분석(Multiple Regression Analysis)
• 분산 분석(ANOVA, Analysis of Variance)
  독립 변수가 범주형 변수일 경우다.
  • 독립 변수가 1개면 일원 분산 분석(One-way ANOVA)
  • 2개면 이원 분산 분석(Two-way ANOVA)

 

 

기계학습 관점에서 모델 분류

기계학습에서는 모델을 종속 변수의 속성에 따라 구분한다.

종속 변수가 연속형 변수면 회귀(Regression), 범주형 변수면 분류(Classification)다.

이 중 N개의 범주 중 하나를 선택하는 것을 식별(Identification), 특정 범주에 속하는지를 판단하는 것을 인증(Verification)이라고 한다.

예를 들어 일반 선형 모델의 종속 변수가 이항 분포를 따른다면 식별 모델, 포아송 분포를 따른다면 회귀 모델로 볼 수 있다.

 

 

분야별 용어 차이

같은 모델이라도 분야에 따라 부르는 이름과 해석이 달라질 수 있다는 점을 기억해 두는 것이 좋다.