You need to enable JavaScript to run this app. 如何将gensim LDA get_document_topics结果转成DataFrame逐主题列
优惠活动
大模型
产品
解决方案
定价
更多

如何将gensim LDA get_document_topics结果转成DataFrame逐主题列

文档主题概率列批量填充实现

以下三种方案适配当前已构建的DataFrame结构,按执行效率从高到低排序,无需调整原有topics/main_topic列即可直接使用:

方案1:底层高效矩阵转换(适合万级以上大文档量)

该方法直接复用训练好的LDA模型和原有corpus对象,基于gensim原生矩阵转换接口实现,比逐行遍历快1~2个数量级:

from gensim.matutils import corpus2dense
import pandas as pd

# 生成全量文档-主题概率矩阵,num_topics需和训练的30个主题严格对应
# 转置后矩阵规则为:行=文档、列=对应主题ID的概率
doc_topic_dense = corpus2dense(corpus, num_topics=30).T

# 生成独立的主题概率DataFrame,列名严格匹配topic 0 ~ topic 29格式
topic_prob_df = pd.DataFrame(
    doc_topic_dense,
    columns=[f"topic {tid}" for tid in range(30)]
)

# 按索引合并回原DataFrame(需保证原df行顺序与corpus传入顺序完全对齐,即生成main_topic时的遍历顺序)
df = pd.concat([df.reset_index(drop=True), topic_prob_df.reset_index(drop=True)], axis=1)

注意:该方法会自动补全所有主题的概率值,未在原topics列表中出现的主题会自动填充为0,无需额外做缺失值处理。

方案2:DataFrame字典映射(中小文档量最简洁实现)

如果文档量在千到万级,直接基于现有topics列做字典映射即可,不需要额外调用corpus对象,改动最小:

# 预定义所有主题ID列表
all_topic_ids = list(range(30))

# 将每行的topics元组列表转成{主题ID: 概率}的字典
topic_dict = df["topics"].apply(lambda x: dict(x))

# 批量生成30个主题列,缺失值自动填充为0
for tid in all_topic_ids:
    df[f"topic {tid}"] = topic_dict.apply(lambda d: d.get(tid, 0.0))

方案3:逐行遍历兼容写法(适合调试场景)

如果遇到个别行的topics列存在格式异常(比如空列表、元组长度不对),可以用逐行初始化+填充的方式,容错性更强:

# 先为所有30个主题列初始化0值
for tid in range(30):
    df[f"topic {tid}"] = 0.0

# 逐行遍历填充对应主题的概率
for idx, row in df.iterrows():
    for topic_id, prob in row["topics"]:
        df.at[idx, f"topic {topic_id}"] = prob

结果校验方法

填充完成后可做两项快速校验,避免值错配:

  • 随机抽取1行,对比该行topics列内的元组概率值,与对应topic X列的数值是否完全一致
  • 计算每行30个topic列的概率和,结果应近似为1(LDA文档主题分布为归一化值,浮点精度误差可忽略)

内容的提问来源于stack exchange,提问作者Robert Redisch

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.01 14:06:07