Python分词结果不一致问题：含标点二元组生成异常排查

核心原因：无序容器导致标点处理顺序随机 #

你遇到的问题大概率是标点遍历顺序不固定导致的。如果你的find_all_punctuations函数返回的是集合（set）类型，或者在拆分逻辑中用了无序的容器存储标点，那么每次运行时标点的处理顺序会随机变化，对同一个字符串的拆分结果就会不同：

• 以"ta'kul,"为例：先处理逗号,会拆成["ta'kul", ","]（2个token）；先处理单引号'会先拆成["ta", "kul,"]，后续再拆逗号会得到["ta", "kul", ","]（3个token）。
  这种差异累积起来，就会导致最终的token总数每次都不一样。

解决&验证方案 #

1. 固定标点处理顺序：
   把find_all_punctuations的返回值从集合改为有序列表，或者在遍历标点时强制排序：

   # 修改find_all_punctuations函数，确保返回有序列表
   def find_all_punctuations(text):
       # 原逻辑提取标点（比如用正则或字符判断）
       punct_set = {c for c in text if c in string.punctuation}
       return sorted(punct_set)  # 转为有序列表
   
   # 或者在遍历标点时排序
   for punct in sorted(punctuations):
       # 你的拆分逻辑代码
   

2. 确认初始输入一致性：
   可以对初始分词结果做哈希校验，确保每次运行的初始输入完全相同，排除输入差异的影响：

   import hashlib
   initial_tokens = [...]  # 你的初始分词列表
   # 计算哈希值对比
   hash_obj = hashlib.md5(str(initial_tokens).encode())
   print(hash_obj.hexdigest())
   

其他排查点 #

• 检查是否存在全局变量、外部文件缓存或其他状态变量，在多次运行中被修改，导致拆分逻辑的输入发生变化；
• 确认拆分逻辑中没有依赖随机数或其他非确定性操作。

内容的提问来源于stack exchange，提问作者Irfan Zainudin