Probabilistic PCA
在之前的文章PCA与LDA介绍中介绍了PCA的基本原理，这一部分主要在此基础上进行扩展，在PCA中引入概率的元素，具体思路是对每个数据$\vec{x}_i$，假设$\vec{x}_{i} \sim N\left(W{\vec{z}_{i}}, \sigma^{2} I\right)$，其中$\vec{z}_{i}$是一个低维向量，它的先验分布满足$\vec{z}_{i} \sim N(0, I)$，$W$以及所有的$\vec{z}_i$均是要计算的量。$\sigma^2$可以为已知量，也可以作为未知量一同参与计算，这里为了简化计算过程，将$\sigma^2$作为已知量处理。Probabilistic PCA相对于PCA能够更好地处理数据中的噪音，具有更高的扩展性。接下来使用最大似然估计和EM算法对该问题进行求解，EM算法的详细介绍可参考文章中介绍了PCA的基本原理
