马尔可夫链计算咨询：求解f₀₀(5)与首达时期望μ₀

嘿，我来帮你把这道马尔可夫链题的解法理清楚，帮你确认思路对不对，也方便你下周备考测试～

我们先明确问题背景：
给定状态空间$S={0,1,2}$的马尔可夫链，转移矩阵为：
$$K= \begin{pmatrix} 0.3 & 0.3 & 0.4\ 0.2 & 0.7 & 0.1\ 0.2 & 0.3 & 0.5 \end{pmatrix}$$
需要计算两个核心指标：

• $f_{00}(5)$：从状态0出发，第5步首次回到0的概率
• $\mu_0=E(T_0 | X_0=0)$：从状态0出发，首次回到0的期望步数，其中$T_0= \inf\left{n \geq 0: X_n=0\right}$（这里说明：通常首次返回时间定义为$n\geq1$，题目写$n\geq0$的话，$T_0=0$当$X_0=0$，期望为0，无实际意义，所以我们按更合理的$n\geq1$定义来解）

一、计算$f_{00}(5)$ #

$f_{00}(n)$的定义是：从0出发，前$n-1$步都不在0，第$n$步恰好回到0的概率。我们有两种可靠的计算方法：

方法1：利用转移概率与首次到达概率的递推关系 #

设$p_{00}(n)$是从0出发，第$n$步处于0的概率（不管之前是否到过0），两者的递推关系为：
$$p_{00}(n) = \sum_{k=1}^n f_{00}(k) p_{00}(n-k)$$
其中$p_{00}(0)=1$（初始状态就是0）。

步骤1：计算$p_{00}(n)$（$n=1$到5）

• $p_{00}(1)=K[0][0]=0.3$
• $p_{00}(2)=0.30.3 + 0.30.2 + 0.4*0.2=0.23$
• $p_{00}(3)=p_{00}(2)0.3 + p_{01}(2)0.2 + p_{02}(2)0.2=0.230.3+0.420.2+0.350.2=0.223$
• $p_{00}(4)=p_{00}(3)0.3 + p_{01}(3)0.2 + p_{02}(3)0.2=0.2230.3+0.4680.2+0.3090.2=0.2223$
• $p_{00}(5)=p_{00}(4)0.3 + p_{01}(4)0.2 + p_{02}(4)0.2=0.22230.3+0.48720.2+0.29050.2=0.22223$

步骤2：递推求解$f_{00}(n)$

• $n=1$：$p_{00}(1)=f_{00}(1)*p_{00}(0) → f_{00}(1)=0.3$
• $n=2$：$0.23=0.3*0.3 + f_{00}(2)*1 → f_{00}(2)=0.14$
• $n=3$：$0.223=0.30.23 +0.140.3 +f_{00}(3) → f_{00}(3)=0.112$
• $n=4$：$0.2223=0.30.223 +0.140.23 +0.112*0.3 +f_{00}(4) → f_{00}(4)=0.0896$
• $n=5$：$0.22223=0.30.2223 +0.140.223 +0.1120.23 +0.08960.3 +f_{00}(5)$
  计算得：$f_{00}(5)=0.22223-0.15055=0.07168$（约0.0717）

方法2：直接计算所有首次返回路径的概率 #

我们可以把非0状态（1、2）单独提取，形成子转移矩阵$Q$：
$$Q= \begin{pmatrix}0.7 & 0.1\0.3 & 0.5\end{pmatrix}$$
$f_{00}(5)$等价于：从0出发，第一步到1/2，接下来3步都在非0状态，第5步回到0的概率之和。

计算$Q^3$（非0状态走3步的转移矩阵）：
$$Q^3= \begin{pmatrix}0.4 & 0.112\0.336 & 0.176\end{pmatrix}$$
则$f_{00}(5)$为：
$$0.3*(Q^3[0][0]0.2 + Q^3[0][1]0.2) + 0.4(Q^3[1][0]0.2 + Q^3[1][1]0.2)$$
代入数值计算得：
$$0.30.1024 +0.40.1024=0.70.1024=0.07168$$
和方法1结果完全一致，验证了正确性。

二、计算$\mu_0=E(T_0 | X_0=0)$ #

这里按**首次返回时间（$n\geq1$）**定义来解，有两种方法：

方法1：利用平稳分布 #

对于有限不可约遍历链（本题中所有状态互通，且0有自转移概率，周期为1，属于遍历链），首次返回时间的期望满足$\mu_i=1/\pi_i$，其中$\pi_i$是平稳分布的第$i$个分量。

步骤1：求平稳分布$\pi=(\pi_0,\pi_1,\pi_2)$

满足$\pi K=\pi$且$\pi_0+\pi_1+\pi_2=1$，列方程：

1. $0.3\pi_0+0.2\pi_1+0.2\pi_2=\pi_0$
2. $0.3\pi_0+0.7\pi_1+0.3\pi_2=\pi_1$
3. $\pi_0+\pi_1+\pi_2=1$

化简方程2得$\pi_1=\pi_0+\pi_2$，代入方程1得$\pi_2=\frac{5}{4}\pi_0$，再代入方程3：
$$\pi_0+(\pi_0+\frac{5}{4}\pi_0)+\frac{5}{4}\pi_0=1 → \frac{9}{2}\pi_0=1 → \pi_0=\frac{2}{9}$$

步骤2：计算期望

$$\mu_0=\frac{1}{\pi_0}=\frac{9}{2}=4.5$$

方法2：利用递推方程 #

设$m_i$为从状态$i$出发，首次到达0的期望步数：

• 对于$m_0$（从0出发首次返回0的期望步数）：
  $$m_0=1 +0.3m_1 +0.4m_2$$
• 对于$m_1$（从1出发首次到0的期望步数）：
  $$m_1=1 +0.7m_1 +0.1m_2 → 0.3m_1-0.1m_2=1$$
• 对于$m_2$（从2出发首次到0的期望步数）：
  $$m_2=1 +0.3m_1 +0.5m_2 → -0.3m_1+0.5m_2=1$$

解方程组得$m_1=5$，$m_2=5$，代入$m_0$的方程：
$$m_0=1+0.35+0.45=4.5$$
和方法1结果一致。

最终结论 #

• $f_{00}(5)=0.07168$（或约0.0717）
• 若按合理的首次返回时间定义（$n\geq1$），$\mu_0=4.5$；若严格按题目字面$n\geq0$定义，$\mu_0=0$（无实际意义）

内容的提问来源于stack exchange，提问作者eyesima