马尔可夫链平均返回时间计算：给定转移矩阵求状态1的μ₁

首先我们先拆解这个马尔可夫链的状态结构，把状态分成几个互通类：

• 闭类1：{0,1}：状态0和1之间可以互相转移，且不会跳出这个子集（看转移矩阵前两行前两列，只有0和1之间的转移项），属于不可约的闭常返类。
• 暂态：{2,3}：状态2可以转移到0、1、2、3；状态3可以转移到0、2、3、5，它们能进入闭类，但无法再从闭类回到暂态，属于暂态。
• 闭类2：{4,5}：状态4和5之间互相转移，不会到其他状态，也是不可约闭常返类。

我们要求的是状态1的平均返回时间，而状态1属于闭类{0,1}，一旦进入这个类就不会离开，所以只需要关注这个子链的转移矩阵：
$$M_{sub} = \begin{pmatrix} 0.5 & 0.5 \ 0.25 & 0.75 \end{pmatrix}$$

下面用两种方法计算$\mu_1 = E(T_1 | X_0=1)$：

方法1：首次到达时间方程法 #

定义：

• $t_1$：从状态1出发，首次回到状态1的平均时间（也就是我们要的$\mu_1$）
• $t_0$：从状态0出发，首次到达状态1的平均时间

根据马尔可夫链的无记忆性，列出方程：

1. 对于$t_1$：
   从状态1出发，第一步有0.75的概率直接回到1（此时$T_1=1$），有0.25的概率转移到0，之后需要从0出发再到达1，总时间是1步加上$t_0$。所以：
   $$t_1 = 0.75 \times 1 + 0.25 \times (1 + t_0)$$
   化简后：
   $$t_1 = 1 + 0.25t_0$$

2. 对于$t_0$：
   从状态0出发，第一步有0.5的概率留在0，之后需要再花$t_0$的时间到达1；有0.5的概率直接转移到1（此时时间为1）。所以：
   $$t_0 = 0.5 \times (1 + t_0) + 0.5 \times 1$$
   化简：
   $$t_0 = 0.5 + 0.5t_0 + 0.5$$
   $$t_0 = 1 + 0.5t_0$$
   解得：
   $$t_0 = 2$$

把$t_0=2$代入$t_1$的方程：
$$t_1 = 1 + 0.25 \times 2 = 1.5 = \frac{3}{2}$$

方法2：平稳分布法 #

对于不可约的常返马尔可夫链，状态$i$的平均返回时间$\mu_i$满足$\mu_i = \frac{1}{\pi_i}$，其中$\pi_i$是该状态的平稳分布概率。

先求闭类{0,1}的平稳分布$\pi = (\pi_0, \pi_1)$，满足：

• $\pi M_{sub} = \pi$
• $\pi_0 + \pi_1 = 1$

展开第一个条件：
$$\begin{cases}
0.5\pi_0 + 0.25\pi_1 = \pi_0 \
0.5\pi_0 + 0.75\pi_1 = \pi_1
\end{cases}$$

化简第一个方程：
$$-0.5\pi_0 + 0.25\pi_1 = 0 \implies \pi_1 = 2\pi_0$$

结合$\pi_0 + \pi_1 = 1$：
$$\pi_0 + 2\pi_0 = 1 \implies \pi_0 = \frac{1}{3}, \pi_1 = \frac{2}{3}$$

所以平均返回时间：
$$\mu_1 = \frac{1}{\pi_1} = \frac{3}{2} = 1.5$$

两种方法结果一致，计算正确。

内容的提问来源于stack exchange，提问作者cnmesr