隐马尔可夫模型前向算法对数概率漂移问题求助

问题背景 #

实现HMM前向算法时，采用对数概率与log-sum-exp技巧避免溢出现象，但计算得到的对数前向系数出现逐渐向上漂移甚至超过0的异常（概率的对数必然≤0）。虽整体形态与模拟状态峰值匹配，但数值不稳定问题需解决。

问题根源分析 #

1. log-sum-exp实现不标准：现有代码选择基准值b时，错误地比较最小/最大值的绝对值，若选最小值作为基准，exp(sequence - b)会生成极大值，引发溢出与累计误差。
2. 未做对数域归一化：长序列计算中，对数概率的累计误差会逐渐放大，导致数值漂移。
3. 潜在概率合法性问题：初始概率、转移概率若不满足概率公理（和为1、取值在[0,1]），或观测对数概率计算错误，也会引发异常。

具体修正方案 #

1. 修正log-sum-exp函数 #

标准log-sum-exp应始终取序列最大值作为基准，避免溢出并减少误差：

def log_sum_exp(self, sequence):
    '''
    返回np.log(np.sum(np.exp(sequence)))，避免下溢/溢出
    '''
    sequence = np.array(sequence)
    b = np.max(sequence)
    if not np.isfinite(b):  # 处理全为负无穷的极端情况
        return -np.inf
    return b + np.log(np.sum(np.exp(sequence - b)))

2. 加入对数域归一化步骤 #

每一步计算完当前所有状态的对数前向系数后，将其减去该步的log-sum-exp值（等价于概率域归一化，使所有状态前向系数和为1），将数值拉回合理范围，抑制累计误差：

def compute_log_alpha(self):
    log_alpha = []
    # 初始化第0步对数前向系数
    initial_log_probs = np.log(self.p_init)
    obs_log_probs = np.array([
        self.log_distributions[z](self.pre_x + [self.x[0]], self.pre_exog + [self.exog[0]]) 
        for z in range(self.K)
    ])
    step0 = initial_log_probs + obs_log_probs
    # 归一化第0步
    norm_factor = self.log_sum_exp(step0)
    step0 -= norm_factor
    log_alpha.append(step0)
    # 填充缓存
    for z_j in range(self.K):
        self.g_cache[(0, z_j)] = step0[z_j]

    # 迭代计算后续步骤
    for j in range(1, len(self.x)):
        prev_log_alpha = log_alpha[j-1]
        transition_log_probs = np.log(self.p_transition)
        current_step = []
        for z_j in range(self.K):
            # 计算前一步所有状态到当前状态z_j的对数概率和
            temp = prev_log_alpha + transition_log_probs[:, z_j]
            sum_exp = self.log_sum_exp(temp)
            # 加入当前观测的对数概率
            obs_log_prob = self.log_distributions[z_j](
                self.pre_x + self.x[:j+1], 
                self.pre_exog + self.exog[:j+1]
            )
            current_step.append(sum_exp + obs_log_prob)
        current_step = np.array(current_step)
        # 归一化当前步
        norm_factor = self.log_sum_exp(current_step)
        current_step -= norm_factor
        log_alpha.append(current_step)
        # 更新缓存
        for z_j in range(self.K):
            self.g_cache[(j, z_j)] = current_step[z_j]
    return log_alpha

之后可通过self.compute_log_alpha()生成归一化后的对数前向系数，原g_j_z函数可直接从缓存取值。

3. 校验概率合法性与观测对数概率计算 #

• 确认self.p_init所有元素∈[0,1]且和为1；self.p_transition每一行元素和为1。
• 检查log_distributions实现，比如AR-1的对数概率函数：确保sigma为正，计算出的对数概率始终≤0（概率≤1，对数必然非正）。

内容的提问来源于stack exchange，提问作者ranky123