분류 전체보기 17

손실 함수와 최소제곱법, 그리고 최대가능도법의 연결고리

손실 함수와 최소제곱법, 그리고 최대가능도법의 관계모델에 잘 들어맞는 parameter를 추정하는 방법에는 최대가능도법(MLE)과 손실 최소화 방식이 있다.최대가능도법(Maximum Likelihood Estimation, MLE)은 모델이 주어진 데이터를 얼마나 잘 설명하는지를 가능도(likelihood)라는 수치로 나타내고, 이 수치를 가장 크게 만드는 parameter를 추정하는 방법이다. 반면, 손실 최소화 방식은 기계학습에서 널리 사용되며, 모델과 실제 값 사이의 차이(Loss)를 최소화하는 방향으로 parameter를 찾는다. 손실 함수란 무엇인가 손실 함수(Loss Function)는 parameter를 추정할 때 손실을 정의하고, 그 손실을 최소화하도록 parameter를 선택하는 함수다...

확률과 통계 2025.05.21

가능도와 최대가능도추정법(MLE)의 개념과 특징

가능도와 최대가능도추정법(MLE)가능도(Likelihood)란 모수(parameter)가 주어졌을 때, 어떤 표본이 나올 가능성을 의미한다. 즉, ‘그럴듯한 정도’를 나타내는 개념이다.예를 들어 동전을 두 번 던졌다고 하자. 결과가 앞-뒤(H-T)라면, 가능한 모수는 ‘앞면이 나올 확률 θ’다. 만약 θ = 1/2라면, 가능도는L(θ) = 1/2 × 1/2 = 1/4이다. 반대로 θ = 1/3이라면, 가능도는L(θ) = 1/3 × 2/3 = 2/9가 된다. 가능도 함수와 로그 가능도가능도 함수는 모수 θ를 입력하면 해당 가능도를 반환하는 함수로, L(θ)로 나타낸다. 위의 예에서L(θ) = θ × (1 – θ)와 같다.로그 가능도(log-likelihood)는 가능도에 로그를 취한 값이다. 로그를 취하는..

확률과 통계 2025.05.21

정규 선형 모델 이해하기: 선형 모델, 회귀, 분산 분석, 기계학습 관점까지

파라메트릭 모델이란?파라메트릭 모델(parametric model)은 데이터를 특정 분포를 따른다고 가정하고 그 분포의 파라미터를 추정하는 모델이다. 이때 어떤 분포를 가정하느냐에 따라 모델의 성격이 달라진다. 선형 모델의 개념파라메트릭 모델 중에서 선형 모델(linear model)은 종속 변수와 독립 변수 간의 관계가 선형으로 표현되는 모델이다. 선형이란 입력 변수들의 선형 결합으로 결과를 예측한다는 의미다. 일반 선형 모델과 정규 선형 모델선형 모델에서 종속 변수가 정규 분포(Normal Distribution)를 따른다면 이를 정규 선형 모델(Normal Linear Model)이라고 한다.더 넓게는 일반 선형 모델(General Linear Model)이라는 개념이 있는데, 이는 종속 변수가..

확률과 통계 2025.05.17

통계 모델의 기초: 모수적 모델, 선형 모델, 변수 선택

종속 변수와 독립 변수종속 변수(dependent variable)란 어떤 요인에 따라서 변하는 변수이다.독립 변수(independent variable)란 다른 요인에 영향을 받지 않는 변수이다.따라서, 종속 변수는 독립 변수에 의해 변화하고, 독립 변수는 종속 변수의 변화를 설명한다.예를 들어, 기온, 날씨, 가격에 따라서 음료수의 매출이 변화하는 상황을 모델로 표현하게 된다면, 변화하게 되는 음료수의 매출은 종속 변수이며, 음료수의 매출의 변화를 설명하는 기온, 날씨, 가격은 독립 변수이다. 모수적 모델모수적(parametric) 모델은 데이터 분포를 정규 분포, 이항 분포 등의 형태로 가정하고, 주어진 데이터로 분포의 parameter를 추정하는 것이다. 모델을 추정하는 방법이 parameter..

확률과 통계 2025.05.17

통계 모델링 | 수학적 모델, 확률 모델, 통계 모델 쉽게 이해하기

통계 모델건축가들은 실제 집을 짓기 전에 모형 집을 먼저 만든다. 모형 집을 통해 실제 집의 대략적인 구조를 가늠하고 계획을 세우기 위함이다. 확률과 통계에서도 이와 비슷하게, 현실 세계를 단순화하여 예측할 수 있게 만든 모형을 모델(Model) 이라고 부른다. 이러한 모델을 만드는 과정을 모델링(Modeling) 이라고 하며, 특히 통계 모델(Statistical Model) 을 만드는 것을 통계 모델링(Statistical Modeling) 이라고 한다. 즉, 모델을 통해 복잡한 현실을 간략히 표현하고 예측할 수 있는 형태로 바꾸는 것이다.예시음료수 매출을 예로 들어보자. 매출에 영향을 미치는 요인은 기온, 습도, 연령대 인구 분포, 원재료 공급량 등 다양하다. 그 중 기온과 매출의 관계에 집중하여,..

확률과 통계 2025.05.16

고유값(Eigenvalue)과 고유벡터(Eigenvector) 개념, 해석, 구하는 법 정리

Eigenvalue 와 Eigenvector의 정의더보기A는 n×n matrix이다. nonzero vector x에 대해서 Ax = λx를 만족하는 scalar λ를 A의 eigenvalue라고 부른다. vector x 는 A의 eigenvector라고 부른다. 예시더보기이때 x는 A의 eigenvector 이고, 대응하는 A의 eigenvalue λ 는 4이다. 예제더보기matrix A가 이렇고, 5가 A의 eigenvalue라는 것을 보이고, 그에 대응하는 모든 eigenvector를 구해라. 우리는 Ax = 5x 인 nonzero vector x를 구해야 한다. 좌변으로 이항하면 Ax - 5x = 0이고, matrix와 vetor의 곱으로 나타내기 위해 (A-5I)x = 0으로 나타낼 수 있다. ..

선형대수 2025.05.13

적합도, 교차검증, AIC, 상대엔트로피까지 — 모델 평가 핵심 개념 정리

적합도(Fitness)와 예측 정확도(Accuracy) 적합도는 내가 가진 데이터를 모델에 적용했을 때 얼마나 잘 설명하는지를 의미한다.로그 가능도, 잔차 제곱합, 맞춘 비율 등이 적합도를 나타내는 지표다. 반면, 예측 정확도는 내가 갖고 있지 않은 미지의 데이터(unseen data)에 대해 모델이 얼마나 잘 맞추는지를 뜻한다. 적합도와는 개념이 다르다. 과적합(Overfitting)과 독립 변수 선택과적합은 적합도는 높지만, 정작 예측 정확도가 떨어지는 상황이다.갖고 있는 데이터에 너무 집착해서 불필요하게 복잡한 모델을 만들 때 주로 발생한다. 예를 들어 신발 판매량을 예측하는데, 바퀴벌레 개체수나 지진 빈도 같은 쓸데없는 변수를 넣으면 엉뚱한 결론이 나올 수 있다.이런 불필요한 독립 변수가 과적합을..

확률과 통계 2025.05.12

플립플롭과 래치의 차이와 SR 래치(NOR/NAND) 동작 정리

플립플롭과 래치플립플롭(flip-flop)과 래치(latch)는 2개의 안정된(bi-stable) 상태 중 하나를 가지는 1비트 기억 소자이다.플립플롭과 래치도 게이트로 구성되지만 조합논리회로와 달리 궤환(feed back)이 있다. NOR 게이트로 구성된 SR 래치SRQ(t+1)00Q(t)01010111금지 S=0, R=0 일 때: Q(t+1) = Q(t), 출력의 상태가 변하지 않는다. S=0, R=1 일때: S가 Q로 출력된다.S=1, R=0 일 때: S가 Q로 출력된다.S=1, R=1 일 때: Q와 'Q가 반전되지 않으므로 입력이 금지된다. NAND 게이트로 구성된 SR 래치SRQ(t+1)00금지01110011Q(t) S=0, R=0 일 때: Q와 'Q가 반전되지 않으므로 입력이 금지된다.S=0,..

논리회로 2025.05.11