如何证明5×5马尔可夫链转移矩阵不可约及周期相关问题

一、不可约性的核心定义细节 #

先把最关键的概念掰明白：

• 首先，马尔可夫链的状态空间记为$S$（这里你的情况是$S={0,1,2,3,4}$）。
• 我们说状态$i$可达状态$j$，是指存在某个正整数$n\geq1$，使得从$i$出发经过$n$步转移到$j$的概率$P^n(i,j) > 0$（$P^n$是转移矩阵$P$的$n$次幂）。
• 若$i$可达$j$且$j$可达$i$，则称$i$和$j$通信，它们属于同一个通信类。
• 马尔可夫链不可约的核心定义是：整个状态空间$S$是一个单一的通信类——换句话说，任意两个状态都互相通信，不存在任何一个非空的状态子集，使得子集内的状态永远无法到达子集外的状态，反之亦然。

简单来说：不可约的链就是“没有孤立小团体”，所有状态都能通过转移路径互相抵达。

二、如何证明你的5×5矩阵对应的链不可约 #

针对你的5×5转移矩阵，常用的证明方法有三种，选哪种看你的矩阵具体形式：

方法1：基于状态转移图的强连通性验证

把每个状态当成图的节点，只要转移矩阵中$P(i,j) > 0$（即从$i$到$j$的一步转移概率为正），就画一条从$i$指向$j$的有向边。

• 如果这个有向图是强连通的（任意两个节点之间都存在双向的有向路径），那么对应的马尔可夫链就是不可约的。
  举个例子：假设你的矩阵里，0能到1，1能到2，2能到3，3能到4，4能回到0，同时每个状态都有自环（$P(i,i)>0$），那显然任意两个状态都能互相抵达——比如从0到3可以走0→1→2→3（3步），从3到0可以走3→4→0（2步），满足强连通性，链就是不可约的。

方法2：基于转移矩阵的代数验证（线性代数视角）

线性代数里，一个矩阵$P$是不可约的，当且仅当无法通过置换行和列，把它变成分块上三角矩阵（即形如$\begin{pmatrix} A & B \ 0 & C \end{pmatrix}$的形式，其中$A$和$C$是非空方阵）。

• 对于马尔可夫链的转移矩阵来说，代数意义上的不可约，和链的不可约性是完全等价的。如果你能证明你的5×5矩阵无法被分块三角化，那就能直接得出链不可约的结论。

方法3：逐个验证状态对的通信性

如果上面两种方法对你来说太宏观，也可以用最直接的方式：

• 遍历所有状态对$(i,j)$（$i\neq j$），分别找到至少一个正整数$n$使得$P^n(i,j) > 0$（证明$i$可达$j$），再找到至少一个正整数$m$使得$P^m(j,i) > 0$（证明$j$可达$i$）。当所有状态对都满足互相可达时，链就是不可约的。

补充：和你提到的周期引理的关联 #

你说的引理“If $\rho_{xy}>0$ and $\rho_{yx}>0$，then $x$ and $y$ have the same period”里，$\rho_{xy}$其实就是从$x$到$y$的首达概率大于0，本质上就是$x$和$y$互相通信（属于同一个通信类）。而同一个通信类里的所有状态周期必然相同，所以如果你的链不可约，且能证明0和1是非周期的，那整个链的所有状态都是非周期的。

内容的提问来源于stack exchange，提问作者Mathematicing