Python正则正向预查无法正确分割文本：原因分析及解法

问题背景 #

有一段由多个分段组成的文本，特征如下：

• 标题由大写字母构成，可能跨越多行
• 正文可能包含缩写（比如NATO这类大写缩写），没法用“大写单词”来判断分段起始
• 分段之间可能有零个或多个换行符

示例代码 #

import re

text = """
Lorem ipsum

THIS SECTION IS A SHORT STORY
1 Hello world
2 Bye bye
Side comment


NEXT SECTION SPANS 200
YEARS AND MANY COUNTRIES!

3 Joe Bloggs attended a NATO summit
4 John Doe heard...
THIS SECTION HAS NO
LINE BREAK / SPACE FROM
THE PREVIOUS ONE

5 Alice thought...
6 Bob visited...
""".strip()

re.split("\n(?=[^a-z]+\n+[a-z\d])", text)

预期分割结果 #

["Lorem ipsum\n",
 "THIS SECTION IS A SHORT STORY\n1 Hello world\n2 Bye bye\nSide comment\n\n",
 "NEXT SECTION SPANS 200\nYEARS AND MANY COUNTRIES!\n\n3 Joe Bloggs attended a NATO summit\n4 John Doe heard...",
 "THIS SECTION HAS NO\nLINE BREAK / SPACE FROM\nTHE PREVIOUS ONE\n\n5 Alice thought...\n6 Bob visited..."]

实际分割结果 #

["Lorem ipsum",
 "",
 "THIS SECTION IS A SHORT STORY\n1 Hello world\n2 Bye bye\nSide comment",
 "",
 "",
 "NEXT SECTION SPANS 200",
 "YEARS AND MANY COUNTRIES!\n\n3 Joe Bloggs attended a NATO summit\n4 John Doe heard...",
 "THIS SECTION HAS NO",
 "LINE BREAK / SPACE FROM",
 "THE PREVIOUS ONE\n\n5 Alice thought...\n6 Bob visited..."]

问题解答 #

1. 为什么[^a-z]+看起来像非贪婪匹配？ #

这和[^a-z]+的贪婪性没关系，是你的正则断言逻辑有漏洞。

你写的(?=[^a-z]+\n+[a-z\d])正向预查，意思是：当前换行符后面，先有一段不含小写字母的内容，接着是一个或多个换行符，最后跟着小写字母或数字。

但跨多行的标题里，每一行结尾的换行符都满足这个条件——比如NEXT SECTION SPANS 200后面的换行符，它后面的YEARS AND MANY COUNTRIES!属于[^a-z]+，再往后的换行符和正文开头的3（数字）也符合要求。所以标题内部的换行符也被当成了分割点，导致标题被拆成了多行，看起来像是[^a-z]+没贪婪匹配，实则是断言范围没限制对。

2. 正确的解决方案是什么？ #

核心要确保只在标题结束、正文开始的位置分割，不能把标题内部的换行符当成分割点。这里提供两种可行方法：

方法一：优化分割正则

用更精确的正则来限定标题的范围，确保匹配到完整的跨多行标题后再分割：

import re

pattern = r"\n(?=(?:[^a-z\n]+\n)*[^a-z\n]+\n+[a-z\d])"
result = re.split(pattern, text)

# 处理换行符，让结果和预期一致
result = [seg + "\n" if not seg.endswith("\n") else seg for seg in result]
# 过滤空字符串
result = [seg for seg in result if seg.strip()]

正则解释：

• (?:[^a-z\n]+\n)*：匹配零或多行“不含小写字母和换行符的内容+换行符”（也就是标题的每一行）
• [^a-z\n]+\n+：匹配最后一行标题内容，加上后面的一个或多个换行符
• [a-z\d]：匹配正文的起始字符（小写字母或数字）

方法二：通过起始位置切片分割（更直观）

先找到所有分段的起始位置，再对原文本进行切片，这种方式逻辑更清晰：

import re

# 找到所有分段的起始索引（包括第一个段落的开头）
start_indices = [0] + [m.start() for m in re.finditer(r"\n(?=(?:[^a-z\n]+\n)*[^a-z\n]+\n+[a-z\d])", text)]

segments = []
for i in range(len(start_indices)):
    if i == len(start_indices) - 1:
        segment = text[start_indices[i]:]
    else:
        segment = text[start_indices[i]:start_indices[i+1]]
    # 补全换行符保证格式统一
    if not segment.endswith("\n"):
        segment += "\n"
    segments.append(segment)

这样得到的结果就和预期完全一致了。

内容的提问来源于stack exchange，提问作者farmer