[Statistical ML]가우시안 분포 Gaussian(normal) distribution

※'통계 기반 머신러닝' Statistical Machine learning 수업을 듣고 정리한 포스팅입니다.※

1.Gaussian Distribution 가우시안 분포

가장 많이 이용되는 대표적인 확률 분포로, 대부분의 자료 분포가 정규 분포에 매우 근사적으로 접근하는 분포이다.

장점으로는 다음과 같이 크게 3가지가 있다.

1)평균과 분산 2가지 parameter로 해석이 쉽다.

2)중심 극한 정리(독립적인 랜덤 변수들은 approximately하게 가우시안 분포를 따른다) 는 residual error나 noise를 모델링하기에 좋다.

3)수학적으로 simple하며, 구현하기가 쉽다.

probability density function 확률 밀도 함수는 다음과 같이 정의된다 : 

$N\left(x|\mu ,\sigma^2 \right)=\frac{1}{\sqrt{2\pi \sigma^2 }}e^{-\frac{1}{2\sigma^2 }{\left(x-\mu \right)}^2 }$

평균  : $\mu =E\left\lbrack X\right\rbrack$

분산 : $\sigma^2 =\mathrm{var}\left\lbrack X\right\rbrack$

$\sqrt{2\pi \sigma^2 }$는 Normalization을 위한 상수로, density의 합이 1이 되게끔 한다.

$X$ $~$ $N\left(\mu ,\sigma^2 \right)$ 는 $p\left(X=x\right)=N\left(x|\mu ,\sigma^2 \right)$일 때를 의미한다.

만약 $X$~$N\left(0,1\right)$ 이라면, X는 standard normal distribution 정규 분포를 따른다. 정규 분포에서는 함수 자체가 확률 밀도 함수와 같아진다.

아래는 가우시안 분포의 확률 밀도 함수 pdf로, bell curve라고도 부르기도 한다.

N(0,1) 가우시안 분포

Precision of Gaussian :

분산의 역수를 precision of Gaussian이라고 부르기도 하는데,  $\lambda =\frac{1}{\sigma^2 }$ 로 표기한다. 높은 Precision은 좁은 분포(narrow distribution - low variance)를 의미하며, $\mu^4$에 Centering 된다.

가우시안 분포의 중심부인 $x=\mu$일 때 pdf의 값은 $N\left(\mu |\mu ,\sigma^2 \right)={\left(\sigma \sqrt{2\pi }\right)}^{-1} e^{0\;}$ 다음과 같고, $\sigma <\frac{1}{\sqrt{2\pi }}$일 때 p(x) > 1이 된다.

(pdf이기에 p(x)값은 1보다 클 수 있다)

cumulative distributin function 확률 누적 분포 함수 cdf란 ?

cdf는 pdf를 적분함으로써 얻을 수 있다.

$\Phi \left(x;\mu ,\sigma \right)\approx \int_{-\infty }^x N\left(x|\mu ,\sigma^2 \right)\mathrm{dz}$

mean = 0, variance = 1 cdf 

표준 가우시안 분포로부와 누적분포함수와의 관계에서 오차함수 Error function(erf)를 얻을 수 있다.

$\Phi \left(x;\mu ,\sigma \right)=\frac{1}{2}\left\lbrack 1+\mathrm{erf}\left(\frac{z}{2}\right)\right\rbrack$

$z=\frac{\left(x-\mu \right)}{\sigma }$

$\mathrm{erf}\left(x\right)=\frac{2}{\sqrt{\pi }}\int_0^x e^{-t^2 } \mathrm{dt}$

오차함수 erf와 표준정규분포의 누적분포함수와의 관계는 다음과 같다.

$\mathrm{erf}\left(x\right)=2\Phi \left(x\sqrt{2}\right)-1$

$\mathrm{erf}\left(0\right)=0,\mathrm{efr}\left(\infty \right)=1$

 

Gaussian distribution 가우시안 분포의 특성 :

degenerate pdf

분산이 0에 수렴할 때, 가우시안분포는 중심 $\mu$ 에 dirac delta 함수로 근접하게 된다. 

$\underset{\sigma^2 \to 0}{\mathrm{lim}} \;N\left(x\left|\mu ,\sigma^2 \right.\right)=\delta \left(x-\mu \right)$

dirac delta function의 특성으로, - limit to limt의 적분 값이 1이라는 것을 알고 있다. 

$\int_{-\infty }^{\infty } \delta \left(x-\mu \right)\mathrm{dx}=1\;$

dirac delta function의 특성은 shifting 특성을 이용하면, $\int_{-\infty }^{\infty } f\left(x\right)\delta \left(x-\mu \right)=f\left(\mu \right)$