如何用单步Python正则表达式分离单词首尾标点（保留内部标点）

我完全理解你的需求——既要把附着在单词首尾的标点单独拆分出来（方便后续文本分析），又要保留像IP地址、日期这类内部带标点的完整单元，同时还想用单步正则替代两次处理来简化代码。其实只需要一个正则表达式就能搞定这个需求，我们来一步步实现：

单正则实现方案 #

核心思路是用一个正则表达式同时匹配单词开头的连续标点和单词结尾的连续标点，然后在这些标点的前后添加空格，最后拆分即可。这样既不会碰单词内部的标点，又能精准分离首尾的标点。

首先，我们先定义需要处理的标点集合（和你之前的保持一致），然后把它转成正则安全的字符集（避免特殊字符转义问题）：

import re

punct = ['.', ',', ':', ';', '!', '[', ']', '(', ')', '{', '}']
# 转义标点字符，避免正则语法冲突
punct_pattern = re.escape(''.join(punct))

然后编写处理函数，用单个正则完成首尾标点的分离：

def sep_punct_single_regex(sentence) -> list:
    # 正则规则：匹配开头的连续标点，或结尾的连续标点
    # 给匹配到的标点前后添加空格，然后拆分
    regex = rf'(^[{punct_pattern}]+)|([{punct_pattern}]+$)'
    processed_tokens = []
    for token in sentence.split():
        # 单次替换处理首尾标点
        processed_token = re.sub(regex, r' \1\2 ', token).strip()
        # 拆分后加入结果列表
        processed_tokens.extend(processed_token.split())
    return processed_tokens

测试验证 #

用你给出的示例句子测试：

test_sentence = "The target IP was: 127.1.1.100."
print(sep_punct_single_regex(test_sentence))

输出结果正好符合你的预期：

["The", "target", "IP", "was", ":", "127.1.1.100", "."]

再测试一个带内部标点的例子（比如日期）：

test_sentence2 = "Today is 6/28/2019, let's go!"
print(sep_punct_single_regex(test_sentence2))

输出结果：

["Today", "is", "6/28/2019", ",", "let's", "go", "!"]

可以看到日期内部的斜杠被完整保留，只有结尾的逗号和感叹号被正确拆分。

正则原理解释 #

• ^[{punct_pattern}]+：匹配字符串开头的一个或多个指定标点字符
• [{punct_pattern}]+$：匹配字符串结尾的一个或多个指定标点字符
• r' \1\2 '：给匹配到的开头标点（\1）或结尾标点（\2）前后添加空格，这样拆分时就能和主体单词分开
• strip()：去除替换后可能产生的首尾多余空格，避免拆分出空字符串

这样就用一次正则替换完成了之前两次的工作，代码更简洁高效，同时完全满足你的需求。

内容的提问来源于stack exchange，提问作者GeoffWillis