Monte Carlo算法是否能够做到一步更新，即在线学习？
答案显然是不能，如果可以的话，TD算法还有何存在的意义？MC算法必须要等到episode结束后才可以进行值估计的主要原因在于对Return（或是估计目标）的定义与TD算法不同。强化学习中所估计的状态动作对价值实质上就是在某一策略下，以这个状态动作对为起点产生的样本轨道的奖励之和（也可是带折扣系数的和）的期望。假设有一条样本轨道如下所示：答案显然是不能，如果可以的话
阅读背景：
简析Monte Carlo与TD算法的相关问题
来源：互联网
分享到：
