如何将4×4转移矩阵转换为行和为1的2×2转移矩阵
如何正确聚合马尔可夫链的状态转移矩阵
直接累加原状态转移概率会导致行和超过1(因为每个原状态的行和为1,多个原状态的转移概率相加后行和等于原状态数量),正确的做法是利用原聚合状态内的稳态条件概率作为权重,加权计算聚合后的转移概率,具体步骤如下:
核心逻辑
聚合后的转移概率需满足:
聚合状态A到聚合状态B的概率 = Σ(A内子状态i的条件稳态概率 × 原状态i到B的总转移概率)
这里的条件稳态概率,指系统处于聚合状态A时,停留在子状态i的长期概率(即子状态i的全局稳态概率占聚合状态A总概率的比例)。
针对本题的具体计算过程
1. 给出原转移矩阵
原4状态转移矩阵:
matrix = [[.25,.25,.5,0], [ 0,.25,.5,.25], [.25,.25,.25,.25], [.25,.25,0, .5 ]]
其中:good状态={1,2},bad状态={3,4}。
2. 计算原链的全局稳态分布
设稳态分布为 $\pi = [\pi_1, \pi_2, \pi_3, \pi_4]$,满足 $\pi = \pi \times matrix$ 且 $\pi_1+\pi_2+\pi_3+\pi_4=1$,解方程组得到:
- $\pi_1 = 3/16 = 0.1875$
- $\pi_2 = 4/16 = 0.25$
- $\pi_3 = 7/24 ≈ 0.2917$
- $\pi_4 = 13/48 ≈ 0.2708$
3. 计算聚合状态内的条件稳态概率
- good状态:总概率为 $\pi_1+\pi_2=7/16$,因此:
- 状态1的条件概率:$\frac{\pi_1}{\pi_1+\pi_2} = 3/7 ≈ 0.4286$
- 状态2的条件概率:$\frac{\pi_2}{\pi_1+\pi_2} = 4/7 ≈ 0.5714$
- bad状态:总概率为 $\pi_3+\pi_4=5/6$,因此:
- 状态3的条件概率:$\frac{\pi_3}{\pi_3+\pi_4} =7/20=0.35$
- 状态4的条件概率:$\frac{\pi_4}{\pi_3+\pi_4}=13/20=0.65$
4. 计算聚合后的转移概率
- good → good:
$P(G→G) = (3/7)×(0.25+0.25) + (4/7)×(0+0.25) = 5/14≈0.3571$ - good → bad:
$P(G→B) = 1 - P(G→G) =9/14≈0.6429$(或直接计算:$(3/7×0.5)+(4/7×0.75)=9/14$) - bad → good:
$P(B→G)=(7/20)×(0.25+0.25)+(13/20)×(0.25+0.25)=0.5$ - bad → bad:
$P(B→B)=1-P(B→G)=0.5$(或直接计算:$(7/20×0.5)+(13/20×0.5)=0.5$)
最终的2×2转移矩阵
aggregated_matrix = [[5/14, 9/14], [1/2, 1/2]]
或小数近似版本:
aggregated_matrix = [[0.3571, 0.6429], [0.5, 0.5]]
内容的提问来源于stack exchange,提问作者AI92
相关产品推荐
相关产品推荐

