使用Mallet训练HLDA时，负经验似然的含义是什么？

咱先直接说核心：你得到的这个负数，大概率是对数经验似然（log-likelihood），而不是原始的经验似然值，这是Mallet里为了避免数值问题的常规操作，完全正常。

下面给你拆解开讲：

为什么会是负数？ #

原始的经验似然是测试集里每个样本被当前HLDA模型生成的概率的乘积——但每个样本的生成概率都是0到1之间的数，多个小于1的数相乘，结果会变得极小，很容易出现数值下溢（计算机没法精确存储这么小的数）。

所以Mallet的empiricalLikelihood方法并没有直接计算这个乘积，而是计算了对数似然的总和：对每个样本的生成概率取自然对数，再把所有对数结果加起来。因为0<概率<1，取自然对数后结果必然是负数，加起来自然也是负数。

怎么解读这个负数？ #

• 看绝对值大小：绝对值越小（比如-80比-150好），说明模型对测试集的拟合效果越好。因为对数似然越接近0，对应的原始似然值就越大，代表模型预测测试样本的概率越高。
• 重点看对比：这个数值单独看意义不大，主要用来和其他模型做横向对比——比如你调整了HLDA的超参数（比如主题层数、α值）后，新模型的对数似然如果比旧的更接近0，就说明新模型效果更好。
• 转换回原始似然（可选）：如果你非要得到原始的经验似然值，可以用指数函数转换，也就是执行Math.exp(empiricalLikelihood)，但要注意如果这个负数的绝对值太大，指数后可能会直接下溢到0，没法得到有效数值。

另外你也可以去翻下Mallet的HLDA源码，empiricalLikelihood方法里肯定是在做对数似然的计算，这是主题模型领域处理似然计算的标准操作，不用慌。

内容的提问来源于stack exchange，提问作者Raniem