如何将gensim LDA get_document_topics结果转成DataFrame逐主题列
文档主题概率列批量填充实现
以下三种方案适配当前已构建的DataFrame结构,按执行效率从高到低排序,无需调整原有topics/main_topic列即可直接使用:
方案1:底层高效矩阵转换(适合万级以上大文档量)
该方法直接复用训练好的LDA模型和原有corpus对象,基于gensim原生矩阵转换接口实现,比逐行遍历快1~2个数量级:
from gensim.matutils import corpus2dense import pandas as pd # 生成全量文档-主题概率矩阵,num_topics需和训练的30个主题严格对应 # 转置后矩阵规则为:行=文档、列=对应主题ID的概率 doc_topic_dense = corpus2dense(corpus, num_topics=30).T # 生成独立的主题概率DataFrame,列名严格匹配topic 0 ~ topic 29格式 topic_prob_df = pd.DataFrame( doc_topic_dense, columns=[f"topic {tid}" for tid in range(30)] ) # 按索引合并回原DataFrame(需保证原df行顺序与corpus传入顺序完全对齐,即生成main_topic时的遍历顺序) df = pd.concat([df.reset_index(drop=True), topic_prob_df.reset_index(drop=True)], axis=1)
注意:该方法会自动补全所有主题的概率值,未在原topics列表中出现的主题会自动填充为0,无需额外做缺失值处理。
方案2:DataFrame字典映射(中小文档量最简洁实现)
如果文档量在千到万级,直接基于现有topics列做字典映射即可,不需要额外调用corpus对象,改动最小:
# 预定义所有主题ID列表 all_topic_ids = list(range(30)) # 将每行的topics元组列表转成{主题ID: 概率}的字典 topic_dict = df["topics"].apply(lambda x: dict(x)) # 批量生成30个主题列,缺失值自动填充为0 for tid in all_topic_ids: df[f"topic {tid}"] = topic_dict.apply(lambda d: d.get(tid, 0.0))
方案3:逐行遍历兼容写法(适合调试场景)
如果遇到个别行的topics列存在格式异常(比如空列表、元组长度不对),可以用逐行初始化+填充的方式,容错性更强:
# 先为所有30个主题列初始化0值 for tid in range(30): df[f"topic {tid}"] = 0.0 # 逐行遍历填充对应主题的概率 for idx, row in df.iterrows(): for topic_id, prob in row["topics"]: df.at[idx, f"topic {topic_id}"] = prob
结果校验方法
填充完成后可做两项快速校验,避免值错配:
- 随机抽取1行,对比该行
topics列内的元组概率值,与对应topic X列的数值是否完全一致 - 计算每行30个topic列的概率和,结果应近似为1(LDA文档主题分布为归一化值,浮点精度误差可忽略)
内容的提问来源于stack exchange,提问作者Robert Redisch
相关产品推荐
相关产品推荐

