使用LdaSeqModel进行动态主题建模的文档主题标注问题排查

修正后的代码 #

import numpy as np
from tqdm.notebook import tqdm

# 初始化主题和概率列，概率列用float类型更合理
df['topic'] = 0
df['topic_prob'] = 0.0

for i in tqdm(range(len(df))):
    # 获取当前文档的主题分布：返回格式为 [(topic_id, probability), ...]
    topic_dist = ldaseq.doc_topics(doc_number=i)
    # 拆分主题ID列表和概率列表
    topic_ids, probs = zip(*topic_dist)
    # 找到最大概率对应的索引
    max_prob_idx = np.argmax(probs)
    # 赋值主题（+1保持你原代码的主题从1开始计数的习惯）和对应概率
    df.at[i, 'topic'] = topic_ids[max_prob_idx] + 1
    df.at[i, 'topic_prob'] = probs[max_prob_idx]

原代码的错误点 #

你的核心问题是没有正确处理ldaseq.doc_topics()的返回格式：

• 该方法返回的是元组列表，每个元组格式为(topic_id, probability)
• 直接对这个列表用max()时，Python会按元组的第一个元素（即topic_id）进行大小比较，得到的是ID最大的主题元组，而非概率最高的
• np.argmax()直接传入元组列表时，同样会以元组的第一个元素为比较基准，导致索引错误，最终主题和概率完全不符合预期

你的疑问解答 #

1. 代码确实存在错误，错误根源是对doc_topics()返回值的格式处理不当，而非方法调用错误。
2. LdaSeqModel对应的文档主题提取方法就是doc_topics()，它的作用和LDA的get_doc_topics()一致，但返回格式是元组列表，需要先拆分主题ID和概率值再进行后续计算。

内容的提问来源于stack exchange，提问作者joy