关于Sutton强化学习书平均奖励设置等价性的证明咨询

嘿，这个问题问到点子上了！在Richard S. Sutton的强化学习书里提到的这个平均奖励等价性，本质上是Cesàro平均收敛和序列逐点收敛之间的经典关系，咱们一步步拆解来证明它。

首先先明确符号定义，方便后续推导：

• 令 $r_t = \mathbb E[R_t | A_{0:t-1}\sim \pi]$，这里的 ${r_t}_{t=1}^\infty$ 是策略π下，第t步奖励的期望序列。
• 等式左边是这个序列的Cesàro平均（也就是前h项的算术平均）：$C_h = \frac{1}{h}\sum_{t=1}^h r_t$
• 等式右边是序列 ${r_t}$ 当t→∞时的逐点极限，记为 $\rho = \lim_{t\to\infty} r_t$（我们先假设这个极限存在，这在RL平稳环境/策略的场景下是成立的）

正式证明步骤 #

我们的目标是：若 $\lim_{t\to\infty} r_t = \rho$，则 $\lim_{h\to\infty} \frac{1}{h}\sum_{t=1}^h r_t = \rho$。

1. 利用极限定义铺垫
   根据序列逐点收敛的定义：对于任意给定的 $\epsilon > 0$，总能找到一个正整数 $T$，当 $t > T$ 时，$|r_t - \rho| < \frac{\epsilon}{2}$。

2. 拆分Cesàro平均为两部分
   把前h项的和拆成前T项和后(h-T)项：
   $$
   C_h = \frac{1}{h}\sum_{t=1}^T r_t + \frac{1}{h}\sum_{t=T+1}^h r_t
   $$

3. 分析前T项的平均
   前T项的和 $\sum_{t=1}^T r_t$ 是一个固定的常数（因为T是我们选定的有限值）。当h趋向于无穷大时，$\frac{1}{h}$ 会趋近于0，因此存在一个正整数 $H > T$，当 $h > H$ 时：
   $$
   \left| \frac{1}{h}\sum_{t=1}^T r_t \right| < \frac{\epsilon}{2}
   $$

4. 分析后(h-T)项的平均与ρ的差距
   对于 $t > T$，我们已经知道 $|r_t - \rho| < \frac{\epsilon}{2}$，因此：
   $$
   \left| \frac{1}{h}\sum_{t=T+1}^h r_t - \rho \right| = \left| \frac{1}{h}\sum_{t=T+1}^h (r_t - \rho) \right|
   $$
   根据三角不等式，这个式子的绝对值不会超过各项绝对值的平均：
   $$
   \leq \frac{1}{h}\sum_{t=T+1}^h |r_t - \rho| < \frac{1}{h} \cdot (h-T) \cdot \frac{\epsilon}{2} < \frac{\epsilon}{2}
   $$

5. 合并两部分完成证明
   用三角不等式把两部分的误差加起来：
   $$
   |C_h - \rho| = \left| \frac{1}{h}\sum_{t=1}^T r_t + \left( \frac{1}{h}\sum_{t=T+1}^h r_t - \rho \right) \right|
   $$
   $$
   \leq \left| \frac{1}{h}\sum_{t=1}^T r_t \right| + \left| \frac{1}{h}\sum_{t=T+1}^h r_t - \rho \right| < \frac{\epsilon}{2} + \frac{\epsilon}{2} = \epsilon
   $$
   这就满足了Cesàro平均收敛到ρ的定义：对于任意$\epsilon>0$，存在H，当h>H时，$|C_h - \rho| < \epsilon$。

补充说明 #

在RL的平均奖励设置中，我们通常假设环境是平稳马尔可夫过程，策略π是平稳策略（即动作选择只依赖当前状态，且概率分布不随时间变化）。这时候$r_t$其实是一个常数（或者会快速收敛到固定的平均奖励ρ），因此右边的逐点极限必然存在，这个等价性也就自然成立了。

内容的提问来源于stack exchange，提问作者JLagana