前6篇我们都是估计动作值函数Q，从而可以根据估计的Q值选择相应的动作。但是这样的值函数（Value Based）估计方法有着一定的限制。第一，值函数估计方法最后得到的策略是固定策略，不能应对最优策略是随机策略的情况，随机策略指的是以一定的概率选择不同的动作，而不是只可能有一个最优动作。第二，值函数估计方法能很好的处理离散动作空间，无法处理连续动作。第三，在使用特征来描述状态空间中的某一个状态时，有可能因为个体观测的限制或者建模的局限，导致真实环境下本来不同的两个状态却再我们建模后拥有相同的特征描述，进而很有可能导致我们的Value Based方法无法得到最优解。本篇介绍策略估计的方法，直接参数化策略，基于策略来学习，且这种方式更容易收敛。前6篇我们都是估计动作值函数Q，从而可以根据估计的Q值选择相应的动作。但是这样的值函数（Val
阅读背景：
7. 基于策略的强化学习——蒙特卡洛策略梯度REINFORCE算法
来源：互联网
分享到：
