马尔可夫链：骰子问题I——如何构建其转移矩阵P

让我们一步步拆解这个问题，构建出对应的马尔可夫链转移矩阵P：

第一步：明确状态空间 #

首先，这个马尔可夫链的状态空间是 S = {0, 1, 2, 3, 4, 5}，每个状态 i 代表经过若干次投掷后，当前已经留存了 i 枚点数为6的骰子。

第二步：核心转移逻辑 #

这里有个关键的观察：一旦骰子被留存（掷出6），就不会再被投掷，所以状态只会非递减——也就是说，从状态 i 不可能转移到 j < i 的状态，这类转移的概率直接为0。

对于 j ≥ i 的情况，我们需要计算从状态 i 转移到 j 的概率：

• 当前处于状态 i，意味着有 5 - i 枚骰子还未被留存，需要投掷这部分骰子。
• 要转移到状态 j，必须在这 5 - i 枚骰子中恰好掷出 j - i 个6（因为原来的 i 个6会被保留）。

这个概率符合二项分布，计算公式为：
P(i,j) = C(5 - i, j - i) * (1/6)^(j - i) * (5/6)^((5 - i) - (j - i))
其中 C(n,k) 是组合数，表示从 n 个元素中选取 k 个的方式数。

第三步：转移矩阵的结构 #

转移矩阵 P 是一个6×6的矩阵（对应状态0到5），行代表当前状态，列代表下一个状态。矩阵的下三角区域（j < i）全为0，上三角和对角线区域由上面的二项分布概率填充：

P = [
    [P(0,0), P(0,1), P(0,2), P(0,3), P(0,4), P(0,5)],
    [0,      P(1,1), P(1,2), P(1,3), P(1,4), P(1,5)],
    [0,      0,      P(2,2), P(2,3), P(2,4), P(2,5)],
    [0,      0,      0,      P(3,3), P(3,4), P(3,5)],
    [0,      0,      0,      0,      P(4,4), P(4,5)],
    [0,      0,      0,      0,      0,      P(5,5)]
]

举几个具体计算例子 #

为了更清晰，我们计算几个具体的转移概率：

• P(0,1)：从0个留存骰子开始，投掷5枚骰子恰好得到1个6的概率：C(5,1)*(1/6)^1*(5/6)^4 = 5*(5^4)/(6^5)
• P(2,4)：当前有2个留存骰子，投掷剩余3枚骰子恰好得到2个6的概率：C(3,2)*(1/6)^2*(5/6)^1 = 3*(5)/(6^3)
• P(5,5)：已经留存了全部5枚骰子，不需要再投掷，所以必然停留在状态5，概率为1。

内容的提问来源于stack exchange，提问作者Nicklovn