从HTML字符串中批量提取分隔符包裹内容的最高效方法

核心结论：基于语言原生正则引擎做单次全局非贪婪匹配，是该场景下运行效率最高、速度最快的实现方式，没有之一。

为什么不推荐其他常见方案 #

• 不要使用HTML/DOM解析器：提取逻辑和HTML标签语义完全无关，解析器构建DOM树、处理标签容错、实体转义的额外开销是正则方案的10~100倍，属于典型的性能浪费。
• 不要自行编写逐字符遍历的上层逻辑：原生正则、原生字符串查找函数均由编译型语言（C/Rust等）实现，执行效率比Python/JS/Java等上层语言手写的循环高几个数量级。
• 不要用多轮字符串分割实现：多轮split操作会生成大量临时字符串对象，内存占用和GC开销远高于单次正则匹配。

具体实现方式 #

以分隔符为前后包裹的--为例，直接使用非贪婪模式匹配分隔符中间的内容即可：

注意：如果分隔符包含.、*、?等正则特殊字符，需要先对分隔符做正则转义再拼接成匹配规则。

import re
# 提前预编译正则，批量处理场景下可大幅降低重复开销
extractor = re.compile(r'--(.*?)--', re.DOTALL)
# html_str 为抓取到的完整HTML字符串
match_results = extractor.findall(html_str)

关键参数说明：

• re.DOTALL（不同语言对应参数名可能有差异，比如JS中对应/s修饰符）：让匹配符.可以匹配换行符，避免网页内容存在换行时出现漏匹配。
• (.*?)：非贪婪匹配模式，会在碰到第一个闭合分隔符时立即结束当前段匹配，不会出现跨段匹配的问题。

额外性能优化点 #

• 正则规则提前预编译，不要在每次处理字符串时临时编译规则，批量处理大量HTML页面时性能差距非常明显。
• 如果待处理的HTML体积过大（单文件几十MB以上）、且仅需要前N组匹配结果，可以在拿到足够数量的结果后直接终止扫描，无需遍历完整字符串，速度可进一步提升。
• 不要给正则加无意义的前瞻、后顾、字符集限制，规则越简单，底层正则引擎的匹配速度越快。

内容的提问来源于stack exchange，提问作者Andy S