1.信息熵
熵这个概念最早起源于物理学，在物理学中是用来度量一个热力学系统的无序程度，而在信息学里面，熵是对不确定性的度量。在1948年，香农引入了信息熵，将其定义为离散随机事件出现的概率，一个系统越是有序，信息熵就越低，反之一个系统越是混乱，它的信息熵就越高。所以信息熵可以被认为是系统有序化程度的一个度量。熵这个概念最早起源于物理学，在物理学中是用来度量一个热力学系统的无序
阅读背景：
ID3（Iterative Dichotomiser 3）算法原理详解
来源：互联网
分享到：
