[통계] 베이즈 추론

 우리는 우리가 직접 알 수 없는 것들에 대해서 추론할 때, 모델을 상정하고 관측을 한다. 베이즈 추론은 관측이 추론으로 이어지는 과정을 담고 있다.

 먼저, 베이즈 추론의 바탕이 되는 베이즈 정리를 살펴보자. 베이즈 정리는 사건 A와 B의 교집합의 확률에 관점을 부여하며 의미를 갖는다.

 A와 B의 교집합의 확률은 A와 B에게 있어서는 다음과 같다.

$P(A{\cap}B) = P(A|B)P(B) = P(B|A)P(A)$

 이 공통 사건에 'B라는 조건에서 A가 발생할 확률'이라는 관점을 부여하면 다음과 같이 표현되고, 이를 베이즈 정리라고 부른다.

$P(A|B) = \frac{P(A{\cap}B)}{P(B)} = \frac{P(B|A)P(A)}{P(B)}$

 베이즈 추론에서는,  위의 정리에서 관측할 수 있는 것과 추론 해야 할 것을 각각 B와 A로 둔다. 보통 관측할 수 있는 것인 B는 데이터, 추론해야 할 것인 A는 모델에 해당한다

 우리가 추정해야 할 모델 A의 확률분포 $P(A)$는 모델 A에서 관측 B가 가능한 확률, 바꿔 말하면 관측 B가 모델 A에서 가능한 정도(likelihood)를 곱해줌으로써 새로운 확률분포 $P(A|B)$로 갱신된다.

 모델 A에 대한 추론은 관측 B를 통해서 할 수 밖에 없기 때문에, $P(A|B)$가 이루는 확률 분포의 특징이 우리가 알 수 있는 최대한의 모델 A라는 것이 베이즈 추론의 관점이다.