You need to enable JavaScript to run this app. Python如何基于给定短语列表对字符串按匹配短语进行拆分?
优惠活动
大模型
产品
解决方案
定价
更多

Python如何基于给定短语列表对字符串按匹配短语进行拆分?

Python 实现指定短语保留整体的句子拆分方案

实现思路

核心利用正则表达式的优先匹配规则,先匹配长短语再匹配单个单词,避免短语被拆分:

  1. 对短语列表按长度降序排序,保证更长的短语优先被匹配,不会被短短语截断
  2. 对短语中的正则特殊字符做转义处理,避免特殊字符导致匹配逻辑异常
  3. 构建正则匹配模式,同时匹配命中的短语和单个普通单词,直接提取所有匹配结果即可

代码实现

import re

def split_with_reserved_phrases(sentence: str, reserved_phrases: list[str]) -> list[str]:
    # 按短语长度倒序排序,长短语优先匹配
    sorted_phrases = sorted(reserved_phrases, key=lambda x: len(x), reverse=True)
    # 转义正则特殊字符
    escaped_phrases = [re.escape(phrase) for phrase in sorted_phrases]
    # 构建匹配规则:优先匹配保留短语,其次匹配单个单词
    pattern = r"\b(?:{})\b|\b\w+\b".format("|".join(escaped_phrases))
    # 返回所有匹配结果
    return re.findall(pattern, sentence)

测试效果

# 示例参数
sentence = "the world is too big"
reserved_phrases = ["too big", "too small", "the world", "too many"]

# 调用方法
result = split_with_reserved_phrases(sentence, reserved_phrases)
print(result)
# 输出:['the world', 'is', 'too big']

适配说明

  • 如果句子中包含标点符号,可以将单个单词匹配规则从\w+调整为[^ ]+,匹配所有非空格的连续字符
  • 如果保留短语中包含非单词边界的内容(比如带标点的短语),可删除正则中的\b单词边界限制,按需调整匹配规则即可

内容的提问来源于stack exchange,提问作者HANS

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.10 10:30:02