Seeded LDA最优最小词频/文档阈值咨询及结果差异疑问

一、两种预处理结果差异的核心原因 #

• 你设置的高截断阈值（至少10000篇文档出现、1000次词频）过滤掉了大量低频次但类别区分度高的词——这类词可能恰好是A类文档的标志性词汇，被过滤后模型无法捕捉到A类的特征，导致分类结果偏向B类。
• 无截断的DTM保留了所有词汇，包括那些对A类有强指示性的低频词，因此结果符合你对研究问题的领域预期。

二、相关文献与通用原则 #

• 经典LDA的预处理指导：
  • LDA原始论文《Latent Dirichlet Allocation》（Blei et al.）未指定固定阈值，但明确提出预处理需保留具备语义价值的词汇，高频无意义词（如停用词）应过滤，但低频但有区分度的词不应随意剔除。
  • 《Text Mining with R》（Silge & Robinson）针对大规模语料（如你的400k篇摘要）给出参考：文档频率阈值可设为总文档数的0.1%-1%（对应400-4000篇），词频阈值设为50-200次，避免过度过滤丢失关键语义信息。
• Seeded LDA的特殊考量：
  • Seeded LDA的核心逻辑是通过种子词锚定主题，若截断阈值过高，可能切断种子词与关联低频词的语义联系，破坏类别连贯性。《Seeded Topic Modeling with Dirichlet Forest Priors》指出，预处理时应优先保留与种子词语义相近的词汇，而非单纯按频次一刀切。

三、实操优化建议 #

• 先完成基础预处理：过滤停用词、标点、数字等无意义内容，再进行分层阈值测试：
  1. 测试文档频率从总文档数的0.05%到2%（200-8000篇）的不同区间；
  2. 对每个阈值，同时观察A/B类占比变化和模型输出的主题词语义是否符合领域认知；
  3. 选择既让类别占比接近预期，又能保证主题词清晰合理的阈值。
• 利用seededlda包的textplot_topic()函数可视化主题词，验证A、B类的核心词汇是否匹配你的领域判断——这比单纯看类别占比更能衡量模型的合理性。

内容的提问来源于stack exchange，提问作者ZZ Top