[Statistical ML]Probability - 주변 확률,결합 확률,조건부확률

※'통계 기반 머신러닝' Statistical Machine learning 수업을 듣고 정리한 포스팅입니다.※

1.Marginal probability 주변 확률

2 이상의 사건이 동시에 일어날 수 있을 때, 하나의 특정 사건에 주목하여 그것이 일어날 확률 (다른 사건은 고려하지 않음)!
사건 A가 있을 때 marginal probability(주변 확률)은 event A가 일어날 확률 P(A)이다.
예시) 여러장의 카드 팩(총 52장)이 있을 때 뽑은 카드들 중 빨간색(2장)인 카드일 확률은?

$P\left(\mathrm{red}\right)=\frac{2}{52}=\frac{1}{26}$

2.Joint probability 결합 확률 

두개 이상의 사건이 교차할 확률로, 아래 사진의 ,Venn Diagram에서 공통으로 교차하는 부분이다. 교차하는 부분이 없다면, Joint probability는 0이다.

A,B가 두개의 사건일 때 두 사건에 대한 Joint probability(결합 확률)은 다음과 같이 표기한다.

$P\left(A\cap B\right)$

예시) 여러장의 카드 팩(총 52장) 중 카드를 뽑았을 때, 뽑은 카드가 빨간색이고 숫자 4를 가질 확률은?
--> 52장의 카드 중 2장은 빨간색이고, 하트 모양과 다이아몬드 모양의 카드가 있다. 이 때 P(빨간색 and 4)의 확률은 다음과 같다.

$P\left(\mathrm{red}\cap 4\;\right)=\frac{2}{52}=\frac{1}{26}$

 

3.Conditional probability 조건부 확률

조건부 확률은 다른 사건이 이미 발생했음을 알 때 특정 이벤트가 발생할 확률이다. 즉, 좁혀진 조건 하에서 발생할 확률이다.

A,B 두 사건이 있다고 하자. 사건 B가 발생했을 때 사건 A가 발생할 조건부 확률은 다음과 같이 표기한다.

$P\left(A\mid B\right)$

예시)여러장의 카드팩(총 52장) 중 26장은 빨간색 카드이고 26장은 검정색 카드이다. 2장은 빨간색 카드이고 하트모양과 다이아몬드 모양의 카드가 있다. 빨간색의 카드를 뽑았을 때 숫자가 4일 확률은?

$P\left(\mathrm{red}\right)=\frac{26}{52}$

$P\left(4\right)=\frac{2}{52}$

$P\left(4\mid \mathrm{red}\right)=\frac{\frac{2}{52}}{\frac{26}{52}}=\frac{2}{26}=\frac{1}{13}$

Conditional probability and Joint probability 조건부 확률과 결합 확률의 관계

$P\left(A|B\right)=\frac{P\left(A\cap B\right)}{P\left(B\right)}:\mathrm{conditional}\;\mathrm{probability}$

$P\left(B\right)>0P\left(B\right)>0:\mathrm{marginal}\;\mathrm{probability}$

$P\left(A,B\right)=P\left(A\cap B\right):\mathrm{joint}\;\mathrm{probability}$ 

예시) Event A : 동전을 던지는 사건, Event B : 주사위를 던지는 사건
주사위가 6이 나오고, 동전의 앞면(Head)가 나올 확률은? 

Probability 'AND' rule

두 사건의 결합 확률(Joint probability)를 다음과 같이 계산할 수 있다.

$P\left(A\cap B\right)=P\left(A|B\right)\cdot P\left(B\right)$

$P\left(A|B\right)$ : 주사위 6이 나왔을 때, 동전의 앞면이 나올 확률은? 
여기서 주사위를 던지는 것과 동전을 던지는 사건이 무관하다는 것을 알 수있다. 이 때 두 사건은 independent하다고 정의한다. 

$P\left(A|B\right)=P\left(A\right)$

두 사건이 independent (독립적)일 때,  Joint probability(결합 확률)은 두 사건의 각각의 Marginality probability(주변 확률)의 곱이다.

$P\left(A\cap B\right)=P\left(A\right)\cdot P\left(B\right)$

$P\left(A=\mathrm{heads},B=6\right)=\frac{1}{2}\times \frac{1}{6}=\frac{1}{12}$

많은 실제 시나리오에서 이벤트는 현실이 아니더라도 독립적이어야한다라고 가정된다.

Probability 'OR' rule

$P\left(A\cup B\right)=P\left(A\right)+P\left(B\right)-P\left(A\cap B\right)$

예시)동전의 앞면이  나오거나 주사위가 6이 나올 확률은?

$\frac{1}{2}+\frac{1}{6}-\frac{1}{12}=\frac{7}{12}$

만약 Venn Diagram이 교차하지 않는다면, 교차하는 부분이 없다는 뜻이고 이 때 두 사건은 Mutually Exclusive하다고 정의한다.

$P\left(A\cap B\right)=0:A,B\;\mathrm{are}\;\mathrm{mutually}\;\mathrm{exclusive}$