You need to enable JavaScript to run this app. 高效实现多字符串公共词统计:按跨文本出现数量分组返回结果
优惠活动
大模型
产品
解决方案
定价
更多

高效实现多字符串公共词统计:按跨文本出现数量分组返回结果

高效实现跨文本单词分类统计的方案

核心设计思路

整体方案以线性时间复杂度为目标,避免冗余的集合交集/差集计算,适配单文本千级单词的处理规模,核心逻辑聚焦两点:

  • 仅统计单词出现在多少个不同文本中,同一文本内的重复出现不计入跨文本计数,避免无效重复统计
  • 全程单次遍历所有文本的去重单词集合,无嵌套循环计算

分步骤实现逻辑

  1. 文本预处理与单文本去重
    对每个输入字符串,先通过正则提取剥离标点后的标准化单词,同时将单词统一转小写做大小写归一(避免Word和word被判定为不同词汇),再把当前文本提取出的所有单词转为集合完成单文本内的去重——这一步是为了保证同个文本里哪怕单词出现100次,也只对它的跨文本计数贡献1次。
  2. 全局跨文本计数
    用默认字典做全局计数器,键为标准化后的单词,值为该单词出现过的不同文本总数。每处理完一个文本的去重单词集合,就遍历集合内的每个单词,给对应计数加1。
  3. 结果结构化归类
    提前初始化要求的结果键位:从全10个文本都出现的分类,一直到仅在2个文本出现的分类,每个分类对应存储符合条件的单词列表,最后遍历全局计数器,把单词按计数匹配到对应的分类槽位即可。

可直接运行的参考代码

import re
from collections import defaultdict

def findCommonWords(listOfStrings):
    # 全局计数器:key为标准化单词,value为出现过的独立文本数量
    word_text_counter = defaultdict(int)
    total_text_count = len(listOfStrings)

    # 逐文本处理,线性遍历所有单词
    for text in listOfStrings:
        # 正则匹配连续的字母数字组合,自动剥离前后附着的标点,统一转小写做归一
        current_text_words = set(re.findall(r'\b[a-zA-Z0-9]+\b', text.lower()))
        # 单文本去重后,给每个单词的跨文本计数+1
        for word in current_text_words:
            word_text_counter[word] += 1

    # 初始化符合要求的结构化结果字典
    result_dict = {}
    for cnt in range(total_text_count, 1, -1):
        result_key = f"In all {cnt}" if cnt == total_text_count else f"In {cnt}"
        result_dict[result_key] = []

    # 按计数把单词归类到对应槽位
    for word, appear_text_num in word_text_counter.items():
        if appear_text_num < 2:
            # 仅在1个文本出现的单词不需要纳入结果
            continue
        target_key = f"In all {appear_text_num}" if appear_text_num == total_text_count else f"In {appear_text_num}"
        result_dict[target_key].append(word)

    return result_dict

复杂度与优势说明

  • 整体时间复杂度为O(总单词数),属于线性处理规模,哪怕每个文本包含上万个单词,也不会出现性能瓶颈
  • 对比传统逐次做集合交集的方案,不需要反复对多个文本的单词集合做交集运算,减少了大量重复遍历的开销
  • 自动处理了标点附着、大小写不一致的常见问题,不需要额外的复杂文本清洗流程

常见踩坑提醒

  • 切记不要把同一文本内的单词重复出现次数算入跨文本计数,否则会出现严重的统计偏差
  • 示例代码中结果值存储为列表是符合实际场景的——同一跨文本计数下必然存在多个符合条件的单词,参考示例里的单个字符串只是简化展示

内容的提问来源于stack exchange,提问作者themrdan

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 13:36:07