베이즈 정리와 최대 우도

베이즈 정리

 

- 결론만 알고 과정을 추정하는 것과 같다. 다르게 말해 x가 주어졌을 때 y의 확률을 구하는 것이다. 이미 결과를 알고 그 과정을 역추적하는 것과 같다. 이런 맥락에서 기계학습에 중요한 이론이다. 수식적인 식은 아래와 같다.

 

 

예를 들면, 주머니에 병의 번호를 적은 공이 있다. 그리고 3개의 병이 있고 그 병 안에는 어려 공이 들어있다. 이때 공 하나를 뽑았는데 하얀 공이 나왔는데 이 공이 어느 병에서 나왔는지 추정하라고 한다면 어떻게 추정할까??

 

 

이와 같이 된다. 그래서 언듯 보기에는 1번에 흰공이 많으니 확률이 높으리라 생각이 되나, 주머니에서 병의 번호를 뽑는 것과 여러 변수들이 작용한다면 3번에서 뽑았을 확률이 가장 높은 것이다

 

최대우도

 

- 매개변수를 모르는 상황에서 매개변수를 추정하는 문제

- 데이터 x가 주어졌을 때, x를 발생시켰을 가능성을 최대로 하는 매개변수의 값을 찾는 것이다.