확률, 베이즈정리

실험 결과는 빨간색 칩, 어떤 그릇에서 나왔는지 모르니, 각각의 그릇에서 빨간색이 나올 확률을 구하여라.

• 실험: 그릇을 선택한 후, 칩을 선택
• 표기
  빨간색 칩: R,
  흰색칩: W
  그릇: B
• 사상
  $B_1$: 2R, 4W
  $B_2$: 1R, 2W
  $B_3$; 5R, 4W
• 각 그릇이 선택될 확률
  $P(B_1) = 1/3$
  $P(B_2) = 1/6$
  $P(B_3) = 1/3$

위의 예제를 일반화 한다면

$B_1, B_2, ... B_m$이 표본공간 S의 분할(partition), 즉 다음과 같다.

$$ S = B_1 \cup B_2 \cup ... \cup B_m 그리고 B_i \cap B_j = \emptyset, i \ne j$$

물론 모든 B는 상호배반이고, 포괄적이며 B의 사전확률(조건부 확률에서 원래 확률은 사전확률, 조건부 확률은 사후 확률로 불리운다.)양수이다.

만일 A가 어떤 사상(예, 빨간 칩을 뽑는)이면 A는 m개의 상호 배반인 사상들의 합이다. 즉, 다음과 같다.

$$ A = (B_1 \cap A) \cup (B_2 \cap A) \cup ... \cup(B_m \cap A)$$

따라서

$$P(A) = \sum_ {i=1}^{m} P(B_i\cap A) = \sum_{i=1}^{m}P(B_i)P(B_i|A)$$

이는 전환율의 법칙(law of total probablity)이라 불린다.

만일 P(A) > 0이면 다음과 같다.

$$ P(B_k|A) = \frac{P(B_k\cap A)}{P(A)}, k = 1,2,...,m $$

전환율의 법칙을 위의 식에 대입하면 베이즈 정리(Bayes' theorem)를 얻는다.

$$ P(B_k|A) = \frac{P(B_k)P(A|B_k)}{\sum_ {i=1}^{m} P(B_i)P(B_i|A)} $$

조건부 확률 $P(B_k|A)$는 종종 $B_k$의 사후확률(posterior probability)로 불린다.