醉汉随机游走问题的求解咨询
我最近在研究一个醉汉随机游走的问题,具体设定如下:
假设一个人在宽度为5的人行道上行走,每一步他可以向左或向右移动,两种方向的概率相等。不过有两个特殊规则:
- 当他走到第5个位置时,必须回到第4个位置;
- 当他走到第1个位置时,如果选择向右走就会掉下去,游戏结束;如果向左走则继续。
现在有两个核心问题需要解决:
- 这个步行者平均能走多远?
- 步行者移动K步后回到起点(第3个位置)的概率是多少?
我先尝试攻克第二个问题,因为感觉它相对容易着手。首先我构建了对应的转移矩阵$T$:
$$ T = \begin{pmatrix}
1 & 0 & 0 & 0 & 0 & 0 \
1/2 & 0 & 1/2 & 0& 0 & 0 \
0 & 1/2 & 0 & 1/2 & 0 & 0 \
0 & 0 & 1/2 & 0 & 1/2 & 0 \
0 & 0 & 0 & 1/2 & 0 & 1/2 \
0 & 0 & 0 & 0 & 1 & 0 \
\end{pmatrix} $$
这里矩阵的行和列索引依次为E、1、2、3、4、5,其中E代表“结束状态”——一旦进入这个状态,随机游走就会终止。
关于移动K步后回到起点的概率,我先发现一个很直观的规律:
- 如果K是奇数,那么回到起点的概率必然为0,这个结论之后可以用来验证我们的结果是否合理。
更一般地,我把“移动K步后回到起点”这个事件记为$H_K$,它的概率可以表示为:
$$ P(H_K) = \begin{pmatrix}
0& 0 & 0 & 1 & 0 & 0
\end{pmatrix} T^k \cdot \begin{pmatrix}
0& 0 & 0 & 1 & 0 & 0
\end{pmatrix} $$
不过我目前还不知道怎么推导这个概率的闭合表达式,而且计算任意k对应的$T^k$也不是件轻松的事。
我用Python绘制了30步后各个位置的概率分布图表(注意:图表里的位置1对应我定义的E状态,位置2对应我之前说的位置1,以此类推),又绘制了100步后的概率分布,看起来非结束状态的概率呈现出指数衰减的趋势,所以我猜测应该有一个简洁的表达式可以推导出来。
至于第一个问题——步行者平均能走多远,我完全不知道该从哪里入手。我想应该是求从起点(位置3)出发,到达结束状态E的期望步数,但我不知道怎么用转移矩阵$T$来表达这个期望。如果有人能分享一下思路,我会非常感激!
提前谢谢大家了!
备注:内容来源于stack exchange,提问作者Tanamas

