HSMM模型转移矩阵与维特比预测序列转移矩阵差异原因咨询

背景概述 #

我正在使用隐半马尔可夫模型（HSMM）分析时间序列数据中的状态转移，已通过R语言的mhsmm包完成模型训练并得到模型转移矩阵，同时用维特比算法预测了最可能的状态序列：

1. 基于全数据集训练HSMM，获取模型转移矩阵 #

model <- hsmmspec(init = initial, trans = TransMatrix, parms.emis = b, dens.emis = dmvnorm.hsmm, sojourn = d)
testrun <- hsmmfit(Datanew, model, mstep = mstep.mvnorm, lock.transition = FALSE, maxit = 1000, lock.d = FALSE)
model_transition_matrix <- testrun$model$transition

2. 状态序列预测 #

通过维特比算法得到最可能的状态序列：

viterbi_combined <- testrun$yhat

3. 基于预测状态序列计算转移矩阵 #

通过自定义函数计算预测序列的转移矩阵：

calculate_transition_matrix <- function(state_sequence, number_states) {
    transition_matrix <- matrix(0, nrow = number_states, ncol = number_states)
    for (i in 1:(length(state_sequence) - 1)) {
        transition_matrix[state_sequence[i], state_sequence[i + 1]] <- transition_matrix[state_sequence[i], state_sequence[i + 1]] + 1
    }
    row_sums <- rowSums(transition_matrix)
    transition_matrix <- sweep(transition_matrix, 1, row_sums, FUN = "/")
    transition_matrix[is.na(transition_matrix)] <- 0
    return(transition_matrix)
}
predicted_transition_matrix <- calculate_transition_matrix(viterbi_combined, number_states)

目前发现HSMM模型输出的转移矩阵与预测状态序列计算得到的转移矩阵差异显著，平均相对差值约为0.2，咨询以下问题：

1. 为何这两个转移矩阵存在显著差异？
2. 这种差异是否属于正常现象？

问题解答 #

1. 差异产生的核心原因 #

• 统计本质不同：模型输出的model_transition_matrix是EM算法拟合得到的期望状态转移概率，它基于数据集所有可能状态序列的统计平均，反映的是数据整体的转移趋势；而维特比序列计算出的矩阵是单条最优状态路径的转移频率，仅代表概率最高的那一条路径的转移情况，无法覆盖所有可能的状态转移路径。
• HSMM的逗留特性：HSMM允许状态存在逗留时间（sojourn），模型转移矩阵描述的是“离开当前状态后转移到其他状态”的概率；但维特比序列的转移计数是实际观测到的状态切换，由于逗留时间的存在，实际切换次数远少于模型基于期望的计算，导致频率与期望概率出现偏差。
• 维特比算法的局限性：维特比算法找的是全局最优的单个状态序列，会倾向于选择概率最高的路径，但这条路径会忽略一些低概率但实际存在的转移，使得基于该序列的转移频率与模型的期望概率产生差距。
• 模型拟合偏差：如果模型训练未完全收敛（比如maxit设置的迭代次数不足），或者初始参数不合理，模型得到的转移矩阵本身就可能与数据真实转移有偏差，再加上维特比序列的最优路径特性，两者差异会被放大。

2. 差异是否正常 #

这种差异大多属于正常现象：

• 两者的统计基础完全不同，一个是所有路径的期望概率，一个是单条最优路径的频率，本身就没有要求必须一致。
• 只要模型拟合效果良好（比如对数似然值稳定收敛、预测的状态序列能合理解释数据特征），即使存在0.2左右的平均相对差值，也在可接受范围内。
• 若差异过大（如相对差值超过0.5）或模型似然值波动不收敛，则需要排查：状态数设置是否合理、逗留时间分布选择是否正确、训练数据量是否充足，或者维特比序列的计算是否存在逻辑问题。

内容的提问来源于stack exchange，提问作者EYJ