KL Divergence

KL（ Kullback–Leibler） Divergence中文译作KL散度，从信息论角度来讲，这个指标就是信息增益（Information Gain）或相对熵（Relative Entropy），用于衡量一个分布相对于另一个分布的差异性，注意，这个指标不能用作距离衡量，因为该指标不具有对称性，即两个分布KL（ Kullback–Leibler） Divergence中文译作K