R语言textmodel_seededLDA输出模型如何做诊断或转topicmodels格式

方案1：将textmodel_seededLDA输出转换为topicmodels兼容格式 #

你可以手动构造topicmodels包输出的LDA_VEM类对象，填充核心参数后即可适配topicdoc等诊断工具，操作步骤如下：

• 提取核心分布矩阵：textmodel_seededLDA输出结果中，theta为文档-主题概率矩阵，对应LDA_VEM对象的@gamma插槽；phi为主题-词概率矩阵，对应@beta插槽（注意topicmodels中存储的beta为对数尺度，原始概率需先做log()转换）
• 补充必要元数据：将训练语料的特征名赋值给@terms插槽，主题数量赋值给@k插槽，语料维度赋值给@Dim插槽，其余控制参数可填充默认值，无需完全匹配原生输出

参考实现代码：

library(topicmodels)
library(quanteda)
# 替换为你自己的模型和训练语料对象名
seeded_lda_model <- your_seededlda_result
train_dfm <- your_training_dfm

# 构造LDA_VEM类对象
tm_compatible_lda <- new("LDA_VEM",
              gamma = seeded_lda_model$theta,
              beta = log(seeded_lda_model$phi),
              terms = featnames(train_dfm),
              k = seeded_lda_model$k,
              Dim = seeded_lda_model$data$dimension,
              call = match.call())

构造完成后即可直接将tm_compatible_lda传入topicdoc等包的指标计算函数，常规诊断指标仅依赖核心分布和元数据字段，不会触发报错。

方案2：直接对textmodel_seededLDA输出计算诊断指标 #

你也可以直接提取模型内置的分布矩阵，手动计算所需诊断指标，无需做格式转换：

• 困惑度：seededLDA包自带适配方法，直接调用perplexity(seeded_lda_model, newdata = test_dfm)即可计算训练集或测试集困惑度
• 对数似然：训练集拟合对数似然直接存储在seeded_lda_model$loglikelihood字段中可直接调用，测试集对数似然可通过phi、theta矩阵与测试集词频矩阵相乘求和得到
• 排他性：基于主题词概率分布手动计算，参考代码如下（以计算每个主题Top20词的平均排他性为例）：

top_n_word <- 20
exclusivity_res <- sapply(1:seeded_lda_model$k, function(topic_id){
  top_word_idx <- order(seeded_lda_model$phi[topic_id, ], decreasing = T)[1:top_n_word]
  mean(log(seeded_lda_model$phi[topic_id, top_word_idx]) - colMeans(log(seeded_lda_model$phi[, top_word_idx])))
})
# 所有主题的平均排他性
mean_exclusivity <- mean(exclusivity_res)

其余如语义一致性、主题区分度等指标，均可基于phi、theta矩阵按对应公式手动实现，无需依赖第三方适配工具。

内容的提问来源于stack exchange，提问作者Daniel Casey