信息熵、条件熵、信息增益

信息增益描述了一个特征带来的信息量的多少，往往用于特征选择

信息增益 = 信息熵 - 条件熵

一个特征往往会使一个随机变量Y的信息量减少，减少的部分就是信息增益一个特征往