如何让正则拆分特殊词时分离末尾标点且不拆分URL内点号

核心逻辑不要靠单条复杂正则硬扛分隔规则：模板链接块是固定格式的结构化内容，里面的URL、内部空格都属于不可拆分部分，优先把这部分内容提取隔离后，再处理普通文本的分词和标点拆分，能彻底避免URL点误拆、链接块被切碎的问题，维护成本也低。 #

具体实现步骤 #

1. 提取隔离所有模板链接块 #

模板链接块的固定格式为{{#a}}[链接文本](链接地址){{/a}}，用正则{{#a}}\[[^\]]*\]\([^)]*\){{/a}}可以完整匹配所有这类块：

• 遍历原字符串，把匹配到的模板块按顺序存入临时数组
• 原字符串中对应模板块的位置，替换成无特殊字符的占位标记（比如@@TPL_BLOCK_0@@、@@TPL_BLOCK_1@@）
  以你给出的示例字符串为例，替换后得到的中间文本为：

"By signing in, I agree to the @@TPL_BLOCK_0@@ and @@TPL_BLOCK_1@@."

这一步处理完，文本里已经没有带URL、带内部空格的链接内容，后续拆分完全不会碰到URL里的点号。

2. 对中间文本做分词拆分 #

此时文本只有普通词汇和占位符，直接用正则匹配拆分位置即可，拆分正则为：

\s+|(?<=[^\s])(?=[.!?](?:\s|$))

正则逻辑说明：

• \s+：匹配所有空白字符，作为基础拆分边界
• (?<=[^\s])(?=[.!?](?:\s|$))：匹配「前面是非空白字符、后面紧跟句末标点（.?!）且标点后是空白或字符串结尾」的零宽位置，在这个位置切分，就能把附着在词汇/占位符末尾的句末标点单独拆成独立token。
  对上述中间文本执行拆分，得到的中间分词结果为：

["By", "signing", "in,", "I", "agree", "to", "the", "@@TPL_BLOCK_0@@", "and", "@@TPL_BLOCK_1@@", "."]

3. 还原模板块 #

遍历中间分词结果，把所有@@TPL_BLOCK_x@@格式的占位符，替换回第一步临时数组里存储的对应模板链接块，就能得到最终符合要求的分词结果：

[
  "By",
  "signing",
  "in,",
  "I",
  "agree",
  "to",
  "the",
  "{{#a}}[Terms of Use](https://www.example.com/termsofuse){{/a}}",
  "and",
  "{{#a}}[Privacy Policy](https://www.example.com/privacy){{/a}}",
  "."
]

扩展说明 #

如果后续需要把逗号、分号、冒号这类其他附着在词尾的标点也单独拆分，只需要修改第二步正则里的[.!?]字符集，加入需要拆分的标点即可，比如改成[.!?,;:]就能覆盖常见英文句读标点拆分需求。
不推荐用单条正则直接在原字符串上做拆分：这类正则需要写多层零宽断言排除模板块、URL内部的场景，逻辑非常脆弱，只要后续模板块新增属性（比如新增target、class参数）就会直接匹配失效，维护成本极高。 #

内容的提问来源于stack exchange，提问作者Onyx