嘿，我来帮你把这个推导的严谨逻辑理清楚——用首次返回时间证明马尔可夫链的常返性，核心是把定义和你已经建立的方程结合起来，咱们一步步拆解：

首先得把常返性和首次返回时间的关系掰明白：

• 状态0的常返性，定义是从0出发，最终回到0的概率$f_{00} = \sum_{n=1}^\infty f_{00}^{(n)} = 1$，其中$f_{00}^{(n)}$是第n步首次返回0的概率。
• 你要计算的$E(T_0 | X_0=0) = \sum_{n=1}^\infty n f_{00}^{(n)}$是首次返回的期望时间，注意：常返性只要求$f_{00}=1$，不管这个期望是否有限——期望有限是「正常返」，无限是「零常返」，但两者都属于常返范畴。

所以你的核心目标其实是先证明$f_{00}=1$，再结合期望计算区分是正常返还是零常返。

假设你已经针对首达时间建立了递推方程（比如对每个状态$i>0$，设$t_i = E(T_0 | X_0=i)$，那么$t_0=0$，且$t_i = 1 + \sum_j p_{ij} t_j$），可以按以下逻辑推进：

1. 先证明「从任意状态i出发，最终能回到0的概率$f_i=1$」

   • 定义$f_i$为从状态i出发最终到达0的概率，显然$f_0=1$。
   • 根据马尔可夫性的无记忆性，对$i>0$有：$f_i = \sum_j p_{ij} f_j$（从i出发下一步到j，再从j出发最终到0的概率是$f_j$，加权求和就是总概率）。
   • 结合你链的转移概率特性解这个方程：比如如果是对称随机游走，这个方程的解是$f_i=1$对所有i；如果是其他无限链，只要能证明不存在非平凡解（比如$f_i < 1$的情况会导出矛盾），就能得出$f_i=1$。
   • 而$f_{00}$就是$f_0$对应的首次返回概率，自然等于1，这就满足了常返性的定义。

2. 再计算$E(T_0 | X_0=0)$

   • 用你已有的$t_i$递推方程求解：比如对对称随机游走，解出来$t_i$会趋向于无穷，说明是零常返；如果是带漂移的随机游走（比如$p>1/2$），那$f_{00}<1$，是非常返，但你说直觉上能回到0，所以应该是对称或者类似的情况。
   • 求解时要注意边界条件：$t_0=0$，如果是无限链，可能需要假设当$i→∞$时的行为（比如$t_i$的增长趋势）来确定解。

比如常见的整数上的对称随机游走：从i出发，下一步到i+1和i-1的概率都是1/2：

• 对于$f_i$的方程：$f_i = \frac{1}{2}f_{i+1} + \frac{1}{2}f_{i-1}$，边界$f_0=1$。假设$f_i$有界，解这个二阶差分方程得$f_i=1$对所有i，所以$f_{00}=1$，链是常返的。
• 对于$t_i$的方程：$t_i = 1 + \frac{1}{2}t_{i+1} + \frac{1}{2}t_{i-1}$，边界$t_0=0$。解这个方程会发现$t_i = ∞$（比如假设$t_i = ci^2$代入验证，会发现c可以是任意正数，说明期望无限），所以是零常返。

• 别把「常返」和「正常返」搞混：常返只要求必然返回，和期望时间是否有限无关；正常返才要求期望时间有限。
• 推导时一定要紧扣马尔可夫性的无记忆性：首达时间的计算只依赖当前状态，和之前怎么到达这个状态完全无关，这是递推方程成立的核心依据。

内容的提问来源于stack exchange，提问作者Betelgeuse