쿨백 라이블러 발산

wikipedia

 

쿨백 라이블러 발산(Kullback-Leibler divergence, KLD)은 두 확률분포의 차이를 계산하는 데 사용하는 함수로, 어떤 이상적인 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산한다.

 

의미

어떠한 확률분포 $P$가 있을 때, 샘플링 과정에서 그 분포를 근사적으로 표현하는 확률분포 $Q$를 $P$ 대신 사용할 경우 엔트로피 변화를 의미한다.

 

따라서, 원래의 분포가 가지는 엔트로피 $H(P)$와 $P$ 대신 $Q$를 사용할 때의 교차 엔트로피 $H(P, Q)$의 차이를 구하면 다음과 같다.

 

$D_{KL}(P \parallel Q)=H(P, Q)-H(P)$

$=(  -\underset{x}\sum p(x) \log q(x)  ) - (  -\underset{x}\sum p(x) \log p(x)  ) $

 

이를 정리하면 다음과 같다.

 

$\underset{i}\sum P(i) \log {P(i) \over Q(i)}$

 

이는 확률분포 P, Q가 이산확률변수인 경우 쿨백-라이블러 발산의 정의와 동일하다.