1、随机森林原理
随机森林是建立在决策树基础上集成方法（决策树中，由于噪声等因素及高方差的影响，可能会产生一些错误的分支，在没有修剪树枝的时候更容易如此）。随机森林通过有放回的方式从原始样本中随机抽取部分样本产生新的样本集合，重复这样的操作产生多个样本集合，每个样本集合后续都会产生一棵决策树；在每棵决策树产生的过程中，在每个节点进行分支的时候都随机地抽取部分特征参与决策树的分支，然后递归分支，递归分支的过程中，每次都是从剩余的特征中随机抽取部分特征参与分支（因为已经参与分支的特征不会出现在该节点之后的节点中）；最后会生成多棵决策树，对新的输入样本进行类别预测时，每一棵树都会产生一个预测结果，最终通过少数服从多数的原则确定新输入样本的类别。根据Leo Breiman的建议，假设总的特征数量为M，随机抽取的部分特征数目这个比例可以是sqrt(M),1/2sqrt(M), 2sqrt(M)。随机森林是建立在决策树基础上集成方法（决策树中，由于噪声等因素
