主题建模与NLP领域中短文本的长度定义咨询

目前在主题建模与自然语言处理领域，短文本并没有绝对统一的长度界定标准，行业内主要从学术研究逻辑、工具适配场景两个维度来划分：

• 学术研究视角
  • 多数研究以词数而非字符数作为核心判定指标，常见阈值为单条文本包含10~20个词以内；针对社交媒体、即时通讯类文本的专项研究，会放宽至30个词以内。
  • 本质判定逻辑是特征稀疏性：只要文本的词汇量无法支撑传统主题模型（如LDA）的统计假设（比如无法形成稳定的词共现分布），即便文本长度略长，也会被归类为短文本进行处理。
• 工具适配场景
  • 针对你使用的Biterm模型，它的设计初衷就是解决短文本的特征稀疏问题，实践中普遍将单条文本词数在30以内的输入作为典型适配场景；如果文本词数超过50，传统LDA的效果已能满足需求，继续使用Biterm的收益会明显下降。
• 关于非学术说法的澄清
  • 你看到的“少于160字符即为短文本”的观点，源自早期短信的字符限制，并非NLP学术领域的专业界定，没有学术依据支撑。
  • 部分细分场景会有自定义标准：比如电商评论中，100字符以内（约20~30个中文词）会被视为短评论；社交平台的原生短内容（如早期推特140字符限制的内容）也常作为短文本研究的样本。

内容的提问来源于stack exchange，提问作者Junhao