LDA主题模型短语生成时Phrases与Phraser输出不一致问题

核心原因 #

出现trigram[sample]和trigram_mod[sample]输出不一致，是Phrases和Phraser的设计机制差异导致的，主要有三类触发场景：

• Phraser仅保留确定生效的短语规则：Phraser是Phrases的只读轻量导出版本，初始化时只会保留训练阶段同时满足min_count和threshold要求的短语映射规则，不会保留完整的共现统计数据；而原始Phrases实例调用[]处理文本时，会基于全量共现计数实时计算所有可能的n-gram组合得分，包括训练阶段卡在阈值边缘、没有被Phraser导出的组合，自然会出现结果差异。
• 输入样本的预处理流程和训练不一致：你训练trigram时输入的是已经经过bigram_mod拼接二元短语的语料，如果直接把原始分词的sample传入trigram或trigram_mod，原始Phrases实例可能会隐式先做二元组合计算，而Phraser不会，也会触发结果差异。
• 参数传递不完整：你训练bigram时传入了connector_words参数，但训练trigram时没有显式传入该参数，部分旧版本gensim会默认开启连接词过滤逻辑，也会导致两者的处理规则不一致。

解决方法 #

1. 统一样本的预处理流程，处理样本时先过bigram_mod再传入trigram相关对象，保证输入格式和训练时一致，示例代码：

# 正确的单样本处理流程
sample_bigram = bigram_mod[sample]
trigram_result = trigram[sample_bigram]
trigram_mod_result = trigram_mod[sample_bigram]

2. 训练trigram时显式传入和bigram一致的connector_words参数：

trigram = gensim.models.Phrases(bigram_mod[data.normalized], min_count=5, threshold=2,
                               connector_words=gensim.models.phrases.ENGLISH_CONNECTOR_WORDS)
trigram_mod = gensim.models.phrases.Phraser(trigram)

3. 若仍有差异，可以导出trigram的全量规则对比，确认是否是阈值边界的短语被Phraser过滤：

# 输出trigram识别到的所有符合要求的短语及得分
print(trigram.export_phrases())

内容的提问来源于stack exchange，提问作者Aditya Srivastava