如何从Gensim LDA或pyLDAvis中提取各主题下的单词显著性

方案1：直接从pyLDAvis生成对象提取（最简便，无需手动计算） #

pyLDAvis的prepare方法返回的对象已经预计算好了所有单词的主题显著性，直接提取转换格式即可：

import pyLDAvis.gensim_models
import pandas as pd

# 替换为你自己训练好的Gensim LDA模型、对应语料、词典
vis_data = pyLDAvis.gensim_models.prepare(
    lda_model=your_lda_model,
    corpus=your_corpus,
    dictionary=your_id2word,
    sort_topics=False # 必须加，否则主题序号会和你训练的LDA模型顺序不一致
)

# 提取主题-词关联表，过滤掉无关的汇总行
topic_term_raw = vis_data.topic_info
topic_term_valid = topic_term_raw[topic_term_raw["Category"] != "Default"]

# 转换为 行=单词、列=主题、值=显著性 的目标格式
target_df = topic_term_valid.pivot(index="Term", columns="Category", values="saliency")
# 可选：修改列名为更易读的格式
target_df.columns = [f"topic_{col.split()[-1]}" for col in target_df.columns]

方案2：手动通过Gensim LDA计算（无需依赖pyLDAvis） #

pyLDAvis内部的显著性计算公式为：

saliency(单词w, 主题k) = 单词w的全局出现频次 * (log(单词w在主题k下的概率) - log(单词w在全语料的全局概率))
按照公式手动计算的代码如下：

import pandas as pd
import numpy as np

# 1. 计算全语料每个单词的出现频次和全局概率
vocab_size = len(your_id2word)
term_global_counts = np.zeros(vocab_size)
for doc in your_corpus:
    for term_id, count in doc:
        term_global_counts[term_id] += count
term_global_p = term_global_counts / term_global_counts.sum()

# 2. 获取LDA模型的主题-词概率矩阵（形状为[主题数, 词数]）
topic_term_p = your_lda_model.get_topics()
num_topics = your_lda_model.num_topics

# 3. 批量计算显著性矩阵
saliency_mat = np.zeros((vocab_size, num_topics))
for term_idx in range(vocab_size):
    saliency_mat[term_idx] = term_global_counts[term_idx] * (np.log(topic_term_p[:, term_idx]) - np.log(term_global_p[term_idx]))

# 4. 转换为目标DataFrame
term_list = [your_id2word[i] for i in range(vocab_size)]
target_df = pd.DataFrame(
    saliency_mat,
    index=term_list,
    columns=[f"topic_{i+1}" for i in range(num_topics)]
)

注意事项 #

• 两种方案的计算结果完全一致，方案2和pyLDAvis内部计算逻辑1:1对齐
• 如果不需要保留全量单词，可对生成的target_df每列取top N值过滤即可
• 若需要结果可复现，训练LDA时请固定random_state参数

内容的提问来源于stack exchange，提问作者Joesf.Albert