基于Python的跨域文本分类NLP主题相关性分析及表格化结果获取咨询

你可以直接从pyLDAvis生成的结构化对象中提取所需数据，不需要从可视化界面反向解析内容，具体操作逻辑如下： #

核心操作步骤 #

• 提取pyLDAvis内置结构化数据
  调用pyLDAvis.prepare()（适配不同训练框架的prepare方法均可）生成的可视化对象，本身已包含所有计算完成的主题相关数据，可直接访问topic_coordinates、topic_term_dists、topic_info等属性，上述属性均为pandas DataFrame格式，可直接导出为表格文件。
• 生成主题相关性矩阵
  如果需要两两主题的相关性结果，可基于主题-词分布向量计算相似度，示例代码如下：

import pandas as pd
from sklearn.metrics.pairwise import cosine_similarity
# 假设已生成pyLDAvis可视化对象，命名为vis
topic_term_matrix = vis.topic_term_dists.values
# 计算两两主题余弦相似度，值越接近1代表相关性越高
topic_correlation_mat = cosine_similarity(topic_term_matrix)
# 转换为结构化表格
topic_corr_df = pd.DataFrame(
    topic_correlation_mat,
    index=[f"主题{i+1}" for i in range(topic_correlation_mat.shape[0])],
    columns=[f"主题{i+1}" for i in range(topic_correlation_mat.shape[0])]
)
# 导出为CSV文件
topic_corr_df.to_csv("主题相关性矩阵.csv", encoding="utf-8-sig")

• 导出主题关键词表
  如果需要每个主题对应的高权重关键词数据，直接提取vis.topic_info属性即可，该表格已包含主题编号、关键词、词频、主题归属权重等字段，直接调用to_csv()或to_excel()方法即可导出。

补充说明 #

• 如果你使用scikit-learn训练LDA模型，调用pyLDAvis.sklearn.prepare()生成的对象属性结构和gensim训练的模型完全一致，上述提取逻辑无需调整。
• pyLDAvis可视化中默认使用JS散度计算主题间距离，如果需要和可视化结果完全对齐的相关性指标，可将上述代码中的余弦相似度替换为JS散度计算逻辑即可。

内容的提问来源于stack exchange，提问作者L-Madapatha