如何在非英文长字符串中实现多词匹配的非精确子串查找？

核心思路 #

要实现“匹配单词数超过2即视为匹配行”的需求，核心是统计每行与目标子串的共同单词数量，具体步骤：

• 将目标子串和每行文本都拆分为独立单词
• 计算两者的共同单词数量
• 筛选出共同单词数>2的行

实现代码 #

以下是针对空格分隔类非英文文本（如乌尔都语）的Python实现：

import re

def find_matching_lines(paragraph_text, target_substring):
    # 预处理：去除标点并拆分目标子串为单词集合（去重避免重复计数）
    cleaned_target = re.sub(r'[^\w\s]', '', target_substring)
    target_words = set(cleaned_target.split())
    
    matching_lines = []
    # 遍历段落的每一行
    for line in paragraph_text.splitlines():
        # 预处理当前行：去除标点、拆分单词
        cleaned_line = re.sub(r'[^\w\s]', '', line.strip())
        line_words = set(cleaned_line.split())
        
        # 计算共同单词数量
        common_count = len(target_words.intersection(line_words))
        
        # 满足匹配条件则加入结果列表
        if common_count > 2:
            matching_lines.append(line.strip())
    
    return matching_lines

代码说明 #

1. 文本预处理：用正则去除标点符号，避免标点干扰单词匹配（比如目标子串的单词带标点，而行中不带的情况）
2. 集合交集统计：用集合存储单词，通过交集操作快速计算共同单词数量，效率远高于遍历比对
3. 适配非英文：默认按空格拆分单词，适合乌尔都语、阿拉伯语等空格分隔的非英文文本；如果是中文这类无空格分隔的语言，只需将split()替换为对应分词库（如jieba.cut()）即可

使用示例 #

# 示例段落（乌尔都语）
paragraph = """میں چند ممالک ایک ایسے گیا جہاں لوگ بہت مہربان تھے
میں چند ممالک سے گزر کر آیا ہوں اور وہاں کا تجربہ بہت اچھا تھا
اس ملک میں لوگ بہت پرہیزگار ہیں
چند دوستوں کے ساتھ میں نے ممالک کا دورہ کیا"""

# 目标子串
target = "میں چند ممالک ایک ایسے گیا"

# 获取匹配行
matches = find_matching_lines(paragraph, target)
for line in matches:
    print(line)

输出结果：

میں چند ممالک ایک ایسے گیا جہاں لوگ بہت مہربان تھے
میں چند ممالک سے گزر کر آیا ہوں اور وہاں کا تجربہ بہت اچھا تھا

注意事项 #

• 如果需要支持大小写敏感的非英文语言，可去掉大小写转换逻辑；反之则统一转为小写/大写
• 对于有特殊分隔符的文本，可调整split()的分隔参数，或自定义分词规则

内容的提问来源于stack exchange，提问作者M NOUMAN