信息论是应用数学的一个分支，主要研究的是对一个信号能够提供信息的多少进行量化，最初用于研究在一个含有噪声的信道上用离散的字母表来发送消息，指导最优的通信编码等，从这个角度看信息熵是求在最优编码时，最短的平均编码长度？交叉熵是编码不一定最优时（分布的估计不准），平均编码长度？相对熵则是编码不一定最优时，平均编码长度相对于最小值的增值。而在机器学习中经常需要使用它们的关键思想来描述概率分布或者量化概率分布之间的，
阅读背景：
机器学习信息论基础
来源：互联网
分享到：
