调用NLTK的TextTiling算法无法生成子主题分片仅返回原文本如何解决

核心原因 #

TextTiling算法依靠文本词汇分布的变化识别主题边界，触发分割需要满足基础条件，不满足时会直接返回完整输入文本，常见的触发条件缺失情况如下：

• 文本长度不满足最低要求
  NLTK的TextTilingTokenizer默认参数下，会先将文本切割为每20个token为一个单位的伪句子，再通过大小为10的滑动窗口计算词汇分布差异，至少需要20个以上伪句子（总token数不低于400）才能完成边界计算，短于该长度的文本不会被分割。
• 文本主题区分度过低
  如果输入文本全程主题高度统一，词汇分布没有出现明显波动，算法无法识别到有效主题边界，就不会进行分割。
• 文本格式不符合算法要求
  该算法默认适配英文文本，依靠空格识别独立token，如果输入的是未分词的中文文本，整段连续汉字会被识别为极少数token，无法生成足够数量的伪句子，自然无法完成分割。
• 内置依赖缺失
  算法内部依赖NLTK的punkt分词资源，未提前下载该资源会导致分词异常，无法正常计算边界。

解决方案 #

1. 先检查基础依赖是否完整，执行代码下载资源：

import nltk
nltk.download('punkt')

2. 确认文本长度和主题属性：可以将两篇主题完全无关的文本拼接后输入算法，若能正常分割，说明原文本主题区分度不足或长度不够。
3. 中文文本需先完成分词，在词与词之间添加空格后再传入算法。
4. 调整算法参数降低分割阈值，适配短文本或低区分度文本：

ttt = nltk.tokenize.TextTilingTokenizer(
    w=5, # 缩小滑动窗口大小，适配更短文本
    k=5, # 缩小平滑窗口大小
    cutoff_policy='LC', # 采用低阈值切割策略，更容易生成边界
    pseudosentence_size=10 # 缩小伪句子的token数，降低总长度要求
)

内容的提问来源于stack exchange，提问作者Frody