Entropy란?

Shannon Entropy란?

Shannon이 정의한 엔트로피는 채널의 정보 수준을 측정하는 정량적 방법입니다. 이 값을 통해 랜덤 변수의 평균 불확실성을 알 수 있습니다. 확률 변수의 가능한 값 중 하나가 확률 1을 가질 때 엔트로피는 0과 같습니다. 즉, 불확실성 수준이 없으며 모든 기호가 동일한 확률값을 가질 때 Entropy는 최대 값에 도달합니다.

수학적으로 $x$가 알파벳 $X$를 가진 이산 랜덤 변수일 때 확률질량함수(pmf)는 $p(x)=\Pr\left\lbrace x_n=a_j\right\rbrace ,a_j\in X$ 이 되게 됩니다.

$X$ 의Entropy는 아래 Equation와 같이 정의 됩니다.

\begin{equation}
\label{eq:entropydef}
    H\left(X\right)=E_{p\left(x\right)} \left\lbrack \mathrm{log}\frac{1}{p\left(X\right)}\right\rbrack =-\sum_{x\in X} p\left(x\right)\log p\left(x\right)
\end{equation}

마찬가지로,이산 랜덤 변수인$(X,Y)$ 에 대하여 Joint 확률 질량 함수 (Joint pmf)를 가진 X,Y에 대한 Joint entropy는 $H(X,Y)$ 아래 식과 같이 정의됩니다.

\begin{equation}
\label{eq:jointentropy}
  H\left(X,Y\right)=E_{p\left(x,y\right)}\Big[ \mathrm{log}\frac{1}{p\left(X,Y\right)}\Big] =-\sum_{x\in X} \sum_{y\in \Upsilon } p\left(x,y\right)\log p\left(x,y\right)
\end{equation}