[Statistical ML]확률의 규칙(Basic probability rules)

※'통계 기반 머신러닝' Statistical Machine learning 수업을 듣고 정리한 포스팅입니다.※

AXIOM 1 

한 사건에 대한 확률은 0보다 크거나 같다.  즉, 한 사건에 대한 확률은 0과 1(inclusive)사이에  존재하고 다음과 같이 표기한다.

$0\le P\left(\mathrm{event}\right)\le 1$

예시) 내일 날씨가 비가 올 확률? 

$P\left(\mathrm{weather}\;\mathrm{tomorrow}=\mathrm{rain}\right)=0\ldotp 5$

또한 결과를 이벤트로 그룹화하고 이벤트가 결과라고 말할 수 있다. 예시)내일 비가 오거나 눈이오다.
이런식으로, 이벤트는 실제 결과의 Collection(모음)이라고 할 수 있다.

AXIOM 2

이 Rule은 가능한 결과 중 적어도 하나의 확률은 1이 일어난다는 것을 의미한다.

예시)주사위를 던질 때 1부터 6가지의 경우의 수 중 한 면이 나올 확률은 1/6이다. 각각의 사건의 확률을 모두 더하면 총 합은 1이 된다.

$P\left(\mathrm{die}=1\right)+P\left(\mathrm{die}=2\right)+P\left(\mathrm{die}=3\right)+P\left(\mathrm{die}=4\right)+P\left(\mathrm{die}=5\right)+P\left(\mathrm{die}=6\right)=\frac{1}{6}+\frac{1}{6}+\frac{1}{6}+\frac{1}{6}+\frac{1}{6}+\frac{1}{6}=1$

$\sum_{i=1}^6 P\left(\mathrm{die}=i\right)=1$

모든 possible한 경우의 수를 $\mathrm{Sample}\;\mathrm{space}\left(\Omega \right)$라고 정의할 때, 1,2,3,4,5,6 은 $\mathrm{Sample}\;\mathrm{space}\left(\Omega \right)$에 포함된다. 

$P\left(\Omega \right)=1$

 

AXIOM 3

만약 두 사건이 Mutually exclusive할 때 동시에 둘 중 하나가 발생할 확률은 각각의 Marginal probability를 더한 값이다.

$P\left(\mathrm{outcome}\;1\;\mathrm{OR}\;\mathrm{outcome}\;2\right)=P\left(\mathrm{outcome}\;1\right)+P\left(\mathrm{outcome}\;2\right)$