전체 글 (28) 썸네일형 리스트형 Statistical Machine learning 퀴즈 Question 1) 정답: Yes, you can find the probabilities 전체 Frequency의 합은 45+40+20+14+9+7+6+3 = 144 1. 총 학생의 수와 Random variablem은? 144명의 학생들이 있고 random variable under study는 학업을 중단한 이유이다. 2. Table채우기 : Percentage는 Frequency/총학생수로 각각 계산 가능하다. 3.illness (질병)으로 학업을 중단한 확률은 약 28%, 재정(돈) 문제로 학업을 중단한 확률은 약 5%, 전공을 바꾼 확률은 약 10%이다. 4.Table의 정보는 확률 분포인가? 주어진 information 자체로는 확률분포가 아니지만, 확률 분포로 쓰일 수 있다. 5. 카테고.. JPEG Compression - JPEG압축, DCT이산 코사인 변환 JPEG는 (Lossy compression)손실이있는 압축 방법입니다. 즉, 본 raw 파일의 크기를 줄이기 위해 의도적으로 이미지를 손실합니다. 인간의 눈은 이미지의 전체 구조를 잃는 데 민감하지만 세부 정보에는 덜 민감합니다. 이미지의 전체 구조는 저주파 성분과 관련이 있고 세부 정보는 고주파 성분과 관련이 있습니다. 먼저 색 공간 변환이 필요합니다. Y 성분은 픽셀의 휘도를 나타내고 $C_b$ 및 $C_r$는 색상 정보를 나타냅니다. 인간의 눈은 색상 구성 요소보다 Luminance(밝기 정보)에 민감하므로 더 많은 색상 정보를 압축하고 Luminance(밝기) 정보를 유지해야합니다. JPEG는 일반적으로 4 : 2 : 0 서브 샘플링 방법을 사용합니다. 4 : 2 : 0은 첫 번째 행에서 2 픽.. Relative entropy, KL divergence Relative entropy, KL-divergence Entropy가 랜덤변수의 불확실성 정도를 나타내고, Relative entropy 또는 Kullback-Leibler (KL) divergence는 두 분포(distributions)의 거리를 측정하는데 쓰인다. 같은 alphabet에 대해 두 분포 p,q가 있다고 했을 때, 아래와 같이 정의한다. 교환법칙은 성립하지 않으며($D\left(p\|q\right)\not= D\left(q\|p\right)$), 통계학에서는 distribution q의 실제 distribution이 t일 때, $D(p||q)$가 비효율성(inefficiency)의 측정으로 쓰이기도 한다. Conditional relative entropy Conditional rel.. Differential entropy Differential entropy 이산값을 가지는 Source가 아닌, Continuous value(연속적인 값)을 가지는 Source X가 있다고 가정해보자. X는 Memoryless source이고 확률 질량 함수 pdf는 $f_x \left(x\right)$로 표기한다. 여기서 Memoryless source란 이전 값에 의존하지 않고 독립적이라는 뜻이다. $f_x \left(x\right)$가 연속적이고, 각각의 i에 대해 $x_i \in \lbrack \left(i-1\right)\Delta ,i\Delta \lbrack ,i\in Z$이 존재한다고 했을 때, 평균값 정리(Mean value theorem)에 의해 $f_x \left(x_i \right)$는 다음과 같이 나타낼 수 있다. .. Lossy coding과 Entropy,Distortion 1.Lossy coding 손실 부호화 Lossy coding 의 Transmission system(전송 시스템)에서는 decoding 된 출력 Y'이 Y와 같다고 가정한다. 만약 Y를 주어진 rate로 전송하고 싶을 때, 우리가 얻을 수 있는 best quality의 X'은 무엇일까? 2.Distortion(왜곡) Lossy coding(손실 부호화)는 Receiver 수신단에서 손실(Loss / Degradation)을 만들기에, 원래 신호와 수신된 신호의 차이를 계산하여 Distortion을 측정할 수 있다. $X,\hat{X} \in R$일 때, $d\left(x,\hat{x} \right)={\left(x-\hat{x} \right)}^2$ : Quadratic distortion $d\lef.. color space transform, chroma subsampling - 색공간 변환, 크로마 서브 샘플링 무선 통신 채널에 HD video sequence가 25 frames/sec 당 전송되어야 한다고 가정해보자. HD : 1920 x 1080 (resolution) pixels 각각의 픽셀들은 R,G,B에 대해서 8비트 코드 되었다. 이 때, Comprssion(압축)없이 필요한 transmission rate(전송률)은 어떻게 계산할까? $R_u =1920\times 1080\times 25\times 3\times 8=1,244\;\mathrm{Gbs}$ 5G 네트워크의 타겟 전송률은 전체 cell에 대해 1Gb/s이다. 따라서, Source coding은 아주 중요하고 필요하다. 1. 다양한 소스들의 Redundancy : 압축 할 데이터에 중복성(Redundancy)이 존재하면 저장 또는 전송할 .. [Statistical ML]라플라스 분포, 감마 분포 ※'통계 기반 머신러닝' Statistical Machine learning 수업을 듣고 정리한 포스팅입니다.※ 1.The Laplace distribution 라플라스 분포 라플라스 분포는 double sided exponential 분포라고도 부르며, 두꺼운 꼬리를 가지고 있다. 라플라스 분포는 0에 더 밀집되어 있다. 확률 밀도 함수 pdf는 다음과 같이 정의된다 : $\mathrm{Lap}\left(x|\mu ,b\right)\approx \frac{1}{2b}e^{-\frac{|x-\mu |}{b}}$ 평균 : $\mathrm{mean}=\;\mu$ 모드 : $\mu$ 분산 : $\mathrm{var}\;=\;2b^2$ 2.The gamma distribution 감마 분포 감마 분포는 $\al.. [Statistical ML]Maximum Likelihood estimation ※'통계 기반 머신러닝' Statistical Machine learning 수업을 듣고 정리한 포스팅입니다.※ 1.Maximum likelihood estimation : 먼저, parameter(매개 변수)에 대한 이해가 필요하다. Parameter (매개변수)란? 종종 기계 학습에서 우리는 관찰 된 데이터를 생성하는 프로세스를 설명하기 위해 모델을 사용한다. 예를 들어, 1) 랜덤 포레스트 모델(Random forest model)을 사용하여 고객이 서비스에서 구독을 취소 할 수 있는지 여부를 분류 할 수 있다. (Chun modeling) 2) 선형 모델을 사용하여 회사에 발생할 수있는 수익을 예측할 수 있다. 광고비 지출 (선형 회귀의 예) 각 모델에는 궁극적으로 모델의 모양을 정의하는 고유한 .. 이전 1 2 3 4 다음