经验风险最小化（ERM, Empirical risk minimization）
1、简介
机器学习的目的就是根据一些训练样本，寻找一个最优的函数，使得函数对输入X的估计Y'与实际输出Y之间的期望风险（可以暂时理解为误差）最小化。期望风险最小化依赖于样本的输入X与其输出Y之间的函数映射关系，而这个映射关系，在机器学习系统中，一般指代先验概率和类条件概率。然而，这两者在实际的应用中，都是无法准确获取的，唯一能够利用的就只有训练样本的输入X及其对应的观测输出Y。而机器学习的目的又必须要求使得期望风险最小化，从而得到需要的目标函数。不难想象，可以利用样本的算术平均值来代替式理想的期望。利用已知的经验数据（训练样本）来计算得到的误差，被称之为经验风险。用对参数求经验风险来逐渐逼近理想的期望风险的最小值，就是我们常说的经验风险最小化（Empirical risk minimization，ERM）原则。
