LDA主题建模是否应当使用bi-gram与tri-gram语法？

为什么多数公开案例只使用unigram #

• 实现门槛低：unigram不需要额外的短语挖掘步骤，分词完成后即可直接输入模型，对入门用户友好，教程类案例自然会优先选择最简实现路径。
• 契合LDA原生假设：LDA的核心是词袋假设，默认不考虑文本的语序关联，unigram天然适配该假设，不需要对模型逻辑做任何额外调整。
• 避免特征稀疏问题：如果直接将所有bi-gram、tri-gram与unigram共同纳入词表，词表规模会呈指数级扩张，大量低频无意义的n-gram会导致特征矩阵极度稀疏，LDA难以学到稳定的主题分布，还会生成大量语义混乱的噪声主题。

bi-gram、tri-gram完全适用于LDA场景，只需做针对性优化 #

• 不要直接全量加入n-gram，优先做固定短语筛选：可以用gensim的Phrases工具，仅保留共现频率、互信息高于设定阈值的语义固定短语（比如“卷积神经网络”“转移支付”这类有独立含义的组合），再将这些短语作为独立“词汇”和unigram共同输入模型，既能保留组合语义，又不会过度抬升词表规模。
• 优先在专业领域文本场景下使用：学术文献、医疗记录、专利文档、行业报告这类文本中存在大量固定领域短语，加入筛选后的n-gram可以大幅提升主题的可解释性，避免“自然”“语言”“处理”三个相关词被拆分到不同主题的问题。
• 配合调整模型参数：加入n-gram后可以适当调高LDA的alpha、eta超参数，同时提高词频过滤阈值，剔除出现次数过少的低质量n-gram，进一步降低稀疏性带来的负面影响。

内容的提问来源于stack exchange，提问作者Tai Huang