连续时间马尔可夫链分布导数的收敛性及相关推导疑问

结论先行 #

等式(4)-(5)在遍历连续时间马尔可夫链的正则条件下是成立的，而$t, B(t,\theta)$不会发散的核心原因是$B(t,\theta), p(t,\theta)$会以$\frac{1}{t}$的速率衰减，两者相乘后抵消了发散趋势，最终收敛到有限的$\partial_\theta p_\theta^\infty$。

详细解释 #

1. 极限与导数交换的合理性

你的核心疑问之一是极限和导数能否交换顺序（即等式(4)）。对于遍历的连续时间马尔可夫链（题目中已明确存在唯一平稳分布$p_\theta^\infty$，满足遍历性）：

• $p(t,\theta)$以指数速率收敛到$p_\theta^\infty$（因为转移矩阵$A_\theta$的所有非零特征值实部均为负）；
• 只要参数$\theta$在参数空间内部，$\partial_\theta A_\theta$连续可微，那么$\partial_\theta p(t,\theta)$会一致收敛到$\partial_\theta p_\theta^\infty$，此时极限与导数的交换是合法的（满足控制收敛定理的条件）。

2. $B(t,\theta), p(t,\theta)$的渐近行为

我们来拆解$B(t,\theta), p(t,\theta)$的量级：
首先，$p(t,\theta)$可以分解为平稳部分和暂态部分：
$$p(t,\theta) = p_\theta^\infty + \delta(t,\theta)$$
其中$\delta(t,\theta)$是指数衰减项（$O(e^{-\lambda t})$，$\lambda>0$是$A_\theta$非零特征值的最小负实部绝对值）。

对于$B(t,\theta) = \int_0^1 e^{\alpha A_\theta t} (\partial_\theta A_\theta) e^{(1-\alpha)A_\theta t} d\alpha$：

• 当作用在平稳分布$p_\theta^{\infty$上时，$e}{(1-\alpha)A_\theta t} p_\theta^\infty = p_\theta^{\infty$，因此$e}{\alpha A_\theta t} (\partial_\theta A_\theta) p_\theta^{\infty$是一个与$p_\theta}\infty$正交的向量（由$\pi^T (\partial_\theta A_\theta)\pi=0$，其中$\pi=p_\theta^{\infty$），而正交于平稳分布的向量会被$e}{\alpha A_\theta t}$指数衰减。对$\alpha$积分后，这个积分的量级是$\frac{1}{t}$（因为$\int_0^1 e^{-\lambda \alpha t} d\alpha \approx \frac{1}{\lambda t}$当$t\rightarrow\infty$）；
• 当作用在暂态部分$\delta(t,\theta)$上时，$e^{(1-\alpha)A_\theta t}\delta(t,\theta)$是$O(e^{-\lambda t})$，整个积分项的量级是$O(e^{-\lambda t})$，远小于$\frac{1}{t}$。

因此，$B(t,\theta), p(t,\theta) = O(\frac{1}{t}) + O(e^{-\lambda t})$，主导项是$\frac{1}{t}$。当乘以$t$后，$t\cdot B(t,\theta), p(t,\theta)$就会收敛到有限的$\partial_\theta p_\theta^\infty$，不会发散。

3. 可能的错误场景

如果等式(4)-(5)不成立，通常是因为违反了正则条件：

• 马尔可夫链非遍历：比如存在多个平稳分布（但题目中明确唯一，此情况排除）；
• 参数$\theta$处于参数空间边界：此时$\partial_\theta A_\theta$可能不连续或不存在；
• $\partial_\theta A_\theta$不满足可积性：比如导数无界，导致积分无法收敛。

总结 #

你的初始预期是正确的，等式(4)-(5)在遍历链的正则条件下成立。$t, B(t,\theta)$不会发散的关键是$B(t,\theta), p(t,\theta)$的$\frac{1}{t}$量级衰减，两者相乘后刚好抵消了$t$的增长，最终收敛到平稳分布的导数。

备注：内容来源于stack exchange，提问作者G Frazao