KL散度，最早是从信息论里演化而来的，信息熵的定义如下：
H = − ∑ i = 1 N p ( x i ) l o g ( p ( x i ) ) H = -\sum\limits_{i=1}^{N}p(x_{i})log(p(x_{i})) H = − ∑ i
阅读背景：
机器学习:Kullback-Leibler Divergence(KL散度)以及R-dropout函数的通俗讲解_znevegiveup1的博客
来源：互联网
分享到：
