高效实现多字符串公共词统计:按跨文本出现数量分组返回结果
高效实现跨文本单词分类统计的方案
核心设计思路
整体方案以线性时间复杂度为目标,避免冗余的集合交集/差集计算,适配单文本千级单词的处理规模,核心逻辑聚焦两点:
- 仅统计单词出现在多少个不同文本中,同一文本内的重复出现不计入跨文本计数,避免无效重复统计
- 全程单次遍历所有文本的去重单词集合,无嵌套循环计算
分步骤实现逻辑
- 文本预处理与单文本去重
对每个输入字符串,先通过正则提取剥离标点后的标准化单词,同时将单词统一转小写做大小写归一(避免Word和word被判定为不同词汇),再把当前文本提取出的所有单词转为集合完成单文本内的去重——这一步是为了保证同个文本里哪怕单词出现100次,也只对它的跨文本计数贡献1次。 - 全局跨文本计数
用默认字典做全局计数器,键为标准化后的单词,值为该单词出现过的不同文本总数。每处理完一个文本的去重单词集合,就遍历集合内的每个单词,给对应计数加1。 - 结果结构化归类
提前初始化要求的结果键位:从全10个文本都出现的分类,一直到仅在2个文本出现的分类,每个分类对应存储符合条件的单词列表,最后遍历全局计数器,把单词按计数匹配到对应的分类槽位即可。
可直接运行的参考代码
import re from collections import defaultdict def findCommonWords(listOfStrings): # 全局计数器:key为标准化单词,value为出现过的独立文本数量 word_text_counter = defaultdict(int) total_text_count = len(listOfStrings) # 逐文本处理,线性遍历所有单词 for text in listOfStrings: # 正则匹配连续的字母数字组合,自动剥离前后附着的标点,统一转小写做归一 current_text_words = set(re.findall(r'\b[a-zA-Z0-9]+\b', text.lower())) # 单文本去重后,给每个单词的跨文本计数+1 for word in current_text_words: word_text_counter[word] += 1 # 初始化符合要求的结构化结果字典 result_dict = {} for cnt in range(total_text_count, 1, -1): result_key = f"In all {cnt}" if cnt == total_text_count else f"In {cnt}" result_dict[result_key] = [] # 按计数把单词归类到对应槽位 for word, appear_text_num in word_text_counter.items(): if appear_text_num < 2: # 仅在1个文本出现的单词不需要纳入结果 continue target_key = f"In all {appear_text_num}" if appear_text_num == total_text_count else f"In {appear_text_num}" result_dict[target_key].append(word) return result_dict
复杂度与优势说明
- 整体时间复杂度为
O(总单词数),属于线性处理规模,哪怕每个文本包含上万个单词,也不会出现性能瓶颈 - 对比传统逐次做集合交集的方案,不需要反复对多个文本的单词集合做交集运算,减少了大量重复遍历的开销
- 自动处理了标点附着、大小写不一致的常见问题,不需要额外的复杂文本清洗流程
常见踩坑提醒
- 切记不要把同一文本内的单词重复出现次数算入跨文本计数,否则会出现严重的统计偏差
- 示例代码中结果值存储为列表是符合实际场景的——同一跨文本计数下必然存在多个符合条件的单词,参考示例里的单个字符串只是简化展示
内容的提问来源于stack exchange,提问作者themrdan
相关产品推荐
相关产品推荐

