求解无限状态空间马尔可夫链的平稳分布（p<q场景）

首先，先明确这个马尔可夫链的转移规则：

• 状态0只能转移到状态1，即 $p_{0,1}=1$
• 对于任意 $i\geq1$，状态i可以以概率p转移到i+1，以概率q转移到i-1，且 $p+q=1$，$0<p<q<1$

已知的平衡方程需要先修正细节（边界状态和内部状态的平衡方程有区别）：

• 状态0的平衡方程：$\pi_0 = q \cdot \pi_1$（只有状态1能转移到0，转移概率为q）
• 状态1的平衡方程：$\pi_1 = \pi_0 \cdot 1 + q \cdot \pi_2$（状态0转移到1的概率是1，状态2转移到1的概率是q）
• 状态 $i\geq2$ 的平衡方程：$\pi_i = p \cdot \pi_{i-1} + q \cdot \pi_{i+1}$（状态i-1转移到i的概率是p，状态i+1转移到i的概率是q）

接下来开始推导：

步骤1：推导内部状态的递推关系 #

对于 $i\geq2$ 的平衡方程，我们可以假设相邻状态的平稳概率满足比例关系 $\pi_{i+1} = r \cdot \pi_i$（r为常数），将其代入平衡方程：
$$\pi_i = p \cdot \pi_{i-1} + q \cdot r \cdot \pi_i$$
因为 $\pi_i = r \cdot \pi_{i-1}$，所以 $\pi_{i-1} = \pi_i / r$，代入上式得：
$$\pi_i = p \cdot \frac{\pi_i}{r} + q r \pi_i$$
两边除以 $\pi_i$（$\pi_i>0$）：
$$1 = \frac{p}{r} + q r$$
整理成二次方程：
$$q r^2 - r + p = 0$$
解这个方程，判别式 $\Delta = 1 - 4pq = (1-2p)^2$（因为 $p+q=1$，$4pq=4p(1-p)$），又因为 $p<q$，所以 $2p<1$，$\Delta=(1-2p)^2$，根为：
$$r = \frac{1 \pm (1-2p)}{2q}$$
得到两个解：

• $r_1 = \frac{2-2p}{2q} = \frac{q}{q}=1$（这个解会导致所有 $\pi_i$ 相等，无穷级数求和发散，舍去）
• $r_2 = \frac{2p}{2q} = \frac{p}{q}$（因为 $p<q$，$r_2<1$，符合收敛要求）

所以内部状态的递推关系为：$\pi_{i+1} = \frac{p}{q} \pi_i$（$i\geq1$）

步骤2：联立边界状态的平衡方程 #

将递推关系 $\pi_2 = \frac{p}{q} \pi_1$ 代入状态1的平衡方程：
$$\pi_1 = \pi_0 + q \cdot \frac{p}{q} \pi_1$$
化简得：
$$\pi_1 = \pi_0 + p \pi_1$$
移项后：
$$q \pi_1 = \pi_0 \implies \pi_1 = \frac{\pi_0}{q}$$
这正好和状态0的平衡方程 $\pi_0 = q \pi_1$ 一致，没有矛盾。

步骤3：写出所有状态的平稳概率表达式 #

结合递推关系，我们可以写出所有 $\pi_i$ 的表达式：

• $\pi_0 = c$（c为待求常数）
• $\pi_1 = \frac{c}{q}$
• $\pi_2 = \frac{p}{q} \pi_1 = \frac{c p}{q^2}$
• $\pi_3 = \frac{p}{q} \pi_2 = \frac{c p^2}{q3}$
• ...
• 一般地，对于 $i\geq1$，$\pi_i = c \cdot \frac{p^{i-1}}{qi}$

步骤4：利用归一化条件求解常数c #

归一化条件为 $\sum_{i=0}^\infty \pi_i = 1$，代入表达式：
$$c + \sum_{i=1}^\infty c \cdot \frac{p^{i-1}}{qi} = 1$$
将求和项拆分：
$$c + \frac{c}{q} \sum_{i=1}^\infty \left( \frac{p}{q} \right)^{i-1} = 1$$
令 $k=i-1$，求和项变为首项为1、公比为 $\frac{p}{q}<1$ 的无穷等比级数，其和为 $\frac{1}{1 - \frac{p}{q}} = \frac{q}{q-p}$，代入得：
$$c + \frac{c}{q} \cdot \frac{q}{q-p} = 1$$
化简：
$$c + \frac{c}{q-p} = 1$$
通分后：
$$c \cdot \frac{(q-p) + 1}{q-p} = 1$$
因为 $1=p+q$，所以 $(q-p)+1=2q$，代入得：
$$c \cdot \frac{2q}{q-p} = 1 \implies c = \frac{q-p}{2q}$$

步骤5：最终的平稳分布 #

将c代入表达式，得到：

• $\pi_0 = \frac{q-p}{2q}$
• 对于 $i\geq1$，$\pi_i = \frac{q-p}{2q} \cdot \frac{p^{i-1}}{qi} = \frac{(q-p) p^{i-1}}{2 q^{i+1}}$

或者用 $r=\frac{p}{q}$ 简化为：

• $\pi_0 = \frac{1-r}{2}$
• 对于 $i\geq1$，$\pi_i = \frac{(1-r^2) r^{i-1}}{2}$

内容的提问来源于stack exchange，提问作者Dark_Knight