隐马尔可夫模型（HMM）需局部特征的原因及技术论证疑问

1. 为何隐马尔可夫模型（HMM）的特征必须是局部的？ #

咱们先从HMM的核心设计逻辑说起：HMM本质是为了高效建模序列数据而生的，它依赖两个关键假设：

• 状态的马尔可夫性：当前隐藏状态$h_t$只依赖前一个状态$h_{t-1}$，和更早的状态、观测都无关；
• 观测的局部性：当前观测$x_t$只依赖当前的隐藏状态$h_t$，和其他状态、其他观测都无关。

这两个局部假设合在一起，才让HMM的概率分布能被链式分解，变成一个个简单项的乘积——比如联合概率$p(\mathbf{x}{1:T}, \mathbf{h}{1:T})$可以拆成初始状态概率、状态转移概率、观测发射概率的连乘。如果打破观测的局部性，让$h_i$能影响所有$x_j$，那模型的参数数量会爆炸（每个观测都要和所有状态关联），而且后续的推断（比如前向-后向算法、维特比算法）根本没法高效执行——原本O(T)的复杂度会直接飙升到指数级，完全失去了HMM的实用价值。

2. 关于“难以定义整个观测序列生成模型”的具体含义及论证 #

首先解释K. Murphy那段话的意思：HMM是生成式模型，它需要明确给出“如何从隐藏状态序列生成观测序列”的概率规则。如果观测不是局部的（也就是存在$h_i$到$x_j$的边，其中$i≠j$），这个生成规则会变得异常复杂，甚至失去可计算性。

咱们可以用你提到的思路来具体论证：
假设每个隐藏状态$h_i$都能连接到所有观测$x_j$，那每个观测$x_j$的条件概率$p(x_j | h_1, h_2, ..., h_T)$就会依赖所有隐藏状态，此时整个观测序列的生成概率$p(\mathbf{x}{1:T} | \mathbf{h}{1:T})$没法拆成单个$x_t$的条件概率乘积——因为每个$x_j$都和所有$h_i$耦合在一起了。

对比HMM原本的生成式：

p(\mathbf{x}_{1:T}, \mathbf{h}_{1:T}) = p(h_1) \prod_{t=2}^T p(h_t | h_{t-1}) \prod_{t=1}^T p(x_t | h_t)

这种分解是完全解耦的，每个项都只和局部的状态/观测有关，不管序列长度T多长，我们都能一步步计算。但如果打破局部观测假设，生成式就变成：

p(\mathbf{x}_{1:T}, \mathbf{h}_{1:T}) = p(h_1) \prod_{t=2}^T p(h_t | h_{t-1}) \cdot p(\mathbf{x}_{1:T} | \mathbf{h}_{1:T})

这里的$p(\mathbf{x}{1:T} | \mathbf{h}{1:T})$是一个“黑箱”式的联合概率，既没法用少量参数建模（参数数量会随T线性增长），也没法高效计算边缘概率（比如求$p(\mathbf{x}_{1:T})$需要对所有隐藏状态序列求和，复杂度是O(T^2)甚至指数级）。说白了，这种模型根本没法作为实用的生成式模型来使用——这就是“难以定义整个观测序列生成模型”的核心含义。

内容的提问来源于stack exchange，提问作者chris elgoog