咨询：Mallet的HLDA是否返回词-主题分布及获取方法

我之前折腾Mallet命令行版的HLDA时也遇到过这个坑——默认的output-state文件确实不直接提供词-主题的概率分布，不过有几个实用办法可以解决：

1. 重新运行HLDA时添加专门的输出参数 #

Mallet的HLDA其实内置了输出词-主题权重的参数，你只需要在运行命令时加上以下两个参数中的一个（或两个都加）：

• --output-topic-keys <filename>：输出每个层级主题的核心关键词及权重，格式是主题路径 权重 词1 词2 ...，适合快速预览主题内容
• --output-topic-word-weights <filename>：输出完整的词-主题权重分布，每行是主题路径 词 权重，这正是你需要的完整分布数据

举个完整的命令示例：

mallet run cc.mallet.topics.HierarchicalLDA \
  --input your-processed-data.mallet \
  --output-state hlda-state.gz \
  --output-topic-keys hlda-topic-keys.txt \
  --output-topic-word-weights hlda-word-topic-weights.txt \
  --num-topics 15 \
  --alpha 0.1 \
  --beta 0.01

运行后，hlda-word-topic-weights.txt里就有你需要的所有词-主题对应关系了。

2. 从已有的output-state文件提取分布 #

如果已经跑完了HLDA不想重新跑，可以从生成的output-state.gz文件里统计词-主题的出现次数，再归一化得到概率分布：

1. 先解压状态文件：gzip -d hlda-state.gz
2. 用脚本统计词和主题的对应次数（HLDA的主题是层级路径格式，比如0/2/1），以下是Python示例：

from collections import defaultdict

# 统计每个主题路径下的词频
topic_word_counts = defaultdict(lambda: defaultdict(int))

with open('hlda-state.txt', 'r') as f:
    # 跳过注释行
    for line in f:
        if line.startswith('#'):
            continue
        parts = line.strip().split()
        # 提取主题路径和词（格式：文档ID 主题路径 词ID 词 ...）
        topic_path = parts[1]
        word = parts[3]
        topic_word_counts[topic_path][word] += 1

# 计算归一化后的词-主题分布
topic_word_distribution = {}
for topic, counts in topic_word_counts.items():
    total_words = sum(counts.values())
    topic_word_distribution[topic] = {word: count/total_words for word, count in counts.items()}

# 保存结果到文件
with open('hlda-word-topic-dist.txt', 'w') as out_f:
    for topic, dist in topic_word_distribution.items():
        # 按权重降序排列
        sorted_words = sorted(dist.items(), key=lambda x: -x[1])
        for word, prob in sorted_words:
            out_f.write(f"{topic}\t{word}\t{prob:.6f}\n")

这个脚本会把每个层级主题对应的词概率分布保存到文件里，足够你用来标注主题了。

3. 快速预览主题：用--print-topics参数 #

如果只是为了标注主题，不需要完整的分布数据，可以在运行HLDA时加上--print-topics N参数（N是每个主题要输出的关键词数量），这样控制台会直接打印每个主题的Top N关键词，比如--print-topics 20会输出每个主题的前20个高频词，足够帮你判断主题内容。

内容的提问来源于stack exchange，提问作者Raniem