如何快速检测子串是否作为完整词汇或短语存在于字符串中？

需求：需要快速完成数千次验证，检测目标子串（单个完整单词或多词短语）是否作为完整单元存在于字符串中，现有正则表达式、拆分单词匹配、ngram生成等方法速度无法满足需求。

核心优化思路 #

先利用substring in string做快速预筛选——这是Python中最快的子串检测方式，能直接排除绝大多数不符合的情况；仅当预筛选通过时，再进行精确的完整单元验证，大幅降低整体计算开销。

具体实现方案 #

方案1：预筛选+单词序列匹配（推荐，适合多短语验证同一文本）

# 提前缓存目标文本的单词列表（多次验证同一文本时，避免重复拆分）
text = "Python is a high-level programming language"
text_words = text.split()

def is_phrase_present(target):
    # 第一步：快速预筛选，直接排除不可能的情况
    if target not in text:
        return False
    
    target_words = target.split()
    k = len(target_words)
    max_start_idx = len(text_words) - k + 1
    
    # 第二步：精确匹配连续单词序列
    for i in range(max_start_idx):
        if text_words[i:i+k] == target_words:
            return True
    return False

# 测试示例
print(is_phrase_present("programming"))  # True
print(is_phrase_present("program"))      # False
print(is_phrase_present("high-level"))   # True
print(is_phrase_present("high-level program")) # False

方案2：预筛选+边界字符判断（适合单次验证或不同文本的验证）

如果不需要缓存文本单词，也可以通过子串的位置边界判断是否为完整单元：

def is_phrase_present(target, text):
    if target not in text:
        return False
    
    start_idx = text.find(target)
    end_idx = start_idx + len(target)
    
    # 检查起始边界：要么是文本开头，要么前一个字符非字母数字
    valid_start = start_idx == 0 or not text[start_idx-1].isalnum()
    # 检查结束边界：要么是文本结尾，要么后一个字符非字母数字
    valid_end = end_idx == len(text) or not text[end_idx].isalnum()
    
    return valid_start and valid_end

# 测试示例
text = "Python is a high-level programming language"
print(is_phrase_present("programming", text))  # True
print(is_phrase_present("program", text))      # False
print(is_phrase_present("high-level", text))   # True

性能优势说明 #

1. 预筛选步骤target in text是底层C实现的操作，速度远快于正则、Python层面的循环；
2. 仅当预筛选通过时才执行后续精确验证，避免了不必要的计算；
3. 单词序列匹配直接操作列表切片，比字符串拼接再匹配更高效。

内容的提问来源于stack exchange，提问作者Eduardo Ramon Resser