Information theory (8) 썸네일형 리스트형 JPEG Compression - JPEG압축, DCT이산 코사인 변환 JPEG는 (Lossy compression)손실이있는 압축 방법입니다. 즉, 본 raw 파일의 크기를 줄이기 위해 의도적으로 이미지를 손실합니다. 인간의 눈은 이미지의 전체 구조를 잃는 데 민감하지만 세부 정보에는 덜 민감합니다. 이미지의 전체 구조는 저주파 성분과 관련이 있고 세부 정보는 고주파 성분과 관련이 있습니다. 먼저 색 공간 변환이 필요합니다. Y 성분은 픽셀의 휘도를 나타내고 $C_b$ 및 $C_r$는 색상 정보를 나타냅니다. 인간의 눈은 색상 구성 요소보다 Luminance(밝기 정보)에 민감하므로 더 많은 색상 정보를 압축하고 Luminance(밝기) 정보를 유지해야합니다. JPEG는 일반적으로 4 : 2 : 0 서브 샘플링 방법을 사용합니다. 4 : 2 : 0은 첫 번째 행에서 2 픽.. Relative entropy, KL divergence Relative entropy, KL-divergence Entropy가 랜덤변수의 불확실성 정도를 나타내고, Relative entropy 또는 Kullback-Leibler (KL) divergence는 두 분포(distributions)의 거리를 측정하는데 쓰인다. 같은 alphabet에 대해 두 분포 p,q가 있다고 했을 때, 아래와 같이 정의한다. 교환법칙은 성립하지 않으며($D\left(p\|q\right)\not= D\left(q\|p\right)$), 통계학에서는 distribution q의 실제 distribution이 t일 때, $D(p||q)$가 비효율성(inefficiency)의 측정으로 쓰이기도 한다. Conditional relative entropy Conditional rel.. Differential entropy Differential entropy 이산값을 가지는 Source가 아닌, Continuous value(연속적인 값)을 가지는 Source X가 있다고 가정해보자. X는 Memoryless source이고 확률 질량 함수 pdf는 $f_x \left(x\right)$로 표기한다. 여기서 Memoryless source란 이전 값에 의존하지 않고 독립적이라는 뜻이다. $f_x \left(x\right)$가 연속적이고, 각각의 i에 대해 $x_i \in \lbrack \left(i-1\right)\Delta ,i\Delta \lbrack ,i\in Z$이 존재한다고 했을 때, 평균값 정리(Mean value theorem)에 의해 $f_x \left(x_i \right)$는 다음과 같이 나타낼 수 있다. .. Lossy coding과 Entropy,Distortion 1.Lossy coding 손실 부호화 Lossy coding 의 Transmission system(전송 시스템)에서는 decoding 된 출력 Y'이 Y와 같다고 가정한다. 만약 Y를 주어진 rate로 전송하고 싶을 때, 우리가 얻을 수 있는 best quality의 X'은 무엇일까? 2.Distortion(왜곡) Lossy coding(손실 부호화)는 Receiver 수신단에서 손실(Loss / Degradation)을 만들기에, 원래 신호와 수신된 신호의 차이를 계산하여 Distortion을 측정할 수 있다. $X,\hat{X} \in R$일 때, $d\left(x,\hat{x} \right)={\left(x-\hat{x} \right)}^2$ : Quadratic distortion $d\lef.. color space transform, chroma subsampling - 색공간 변환, 크로마 서브 샘플링 무선 통신 채널에 HD video sequence가 25 frames/sec 당 전송되어야 한다고 가정해보자. HD : 1920 x 1080 (resolution) pixels 각각의 픽셀들은 R,G,B에 대해서 8비트 코드 되었다. 이 때, Comprssion(압축)없이 필요한 transmission rate(전송률)은 어떻게 계산할까? $R_u =1920\times 1080\times 25\times 3\times 8=1,244\;\mathrm{Gbs}$ 5G 네트워크의 타겟 전송률은 전체 cell에 대해 1Gb/s이다. 따라서, Source coding은 아주 중요하고 필요하다. 1. 다양한 소스들의 Redundancy : 압축 할 데이터에 중복성(Redundancy)이 존재하면 저장 또는 전송할 .. Memoryless source, Markov source Entropy Memoryless Source 란? 메모리성 기억성이 없는 이산적 모델로, 이산 무기억 소스(DMS), 이산 무기억 채널(DMC)라고 불립니다. 이 전 Symbol이 다음 Symbol과 연관이 없으며 독립적입니다. 예를들어, 'abracadabra'라는 텍스트가 있을 때 각각의 알파벳 letter의 확률이 독립적이라고 가정하고 계산할 수 있습니다. Memoryless source의 Entropy를 구하는 MATLAB Function을 구현해보았습니다. Unique함수를 이용해 각각의 alphabet 빈도를 셀 수 있습니다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 function H = entropy(x) %ENTROPY Compute entropy of the memory.. Midrise quantizer, Midtread quantizer Mid-rise quantizer란? 짝수개의 Step 으로 quantize된 Quantizer를 말합니다. Input 0일 때 Output이 없으며, $2^{step}$개의 다른 code를 output으로 가지게 됩니다. Mid-tread quantizer란? 홀수개의 step으로 quantize된 Quantizer를 말합니다. $2^{step}-1$개의 다른 code를 output으로 가지며, input이 0일 때 Output이 있습니다. Distortion 계산하기 Original signal을 x라고 하고 Quantized 양자화 된 신호를 qx라고 할 때 Distortion은 다음과 같이 계산해서 구합니다. Distortion = $\frac{1}{N}\sum_1^N(x-qx)^2$ Quanti.. Entropy란? Shannon Entropy란? Shannon이 정의한 엔트로피는 채널의 정보 수준을 측정하는 정량적 방법입니다. 이 값을 통해 랜덤 변수의 평균 불확실성을 알 수 있습니다. 확률 변수의 가능한 값 중 하나가 확률 1을 가질 때 엔트로피는 0과 같습니다. 즉, 불확실성 수준이 없으며 모든 기호가 동일한 확률값을 가질 때 Entropy는 최대 값에 도달합니다. 수학적으로 $x$가 알파벳 $X$를 가진 이산 랜덤 변수일 때 확률질량함수(pmf)는 $p(x)=\Pr\left\lbrace x_n=a_j\right\rbrace ,a_j\in X$ 이 되게 됩니다. $X$ 의Entropy는 아래 Equation와 같이 정의 됩니다. \begin{equation} \label{eq:entropydef} H\left(.. 이전 1 다음
