Go正则重复捕获组仅保留最后匹配?如何获取所有重复捕获项解析算术表达式
重复捕获组仅保留最后一次匹配值的原因与Go正则的适配方案
问题现象的底层本质
这不是Go/RE2引擎的特有实现缺陷,是所有遵循传统正则语义的引擎的通用行为:
- 正则的捕获组数量是在编译阶段就完全固定的,和子模式的重复次数毫无关联。你编写的正则
^(\d+)(?:([*/+-])(\d+))*$,在编译期就只会分配3个固定存储槽位的捕获组:- 第1个捕获组:匹配字符串开头的连续正整数
- 第2个捕获组:匹配单个基础运算符
- 第3个捕获组:匹配运算符后方的连续正整数
- 当被非捕获组包裹的
([*/+-])(\d+)结构被量词*驱动循环匹配时,每一次循环命中都会直接覆盖对应捕获组里的旧值,最终只会留下最后一次循环的捕获结果。
以匹配输入1+2+3的过程为例:- 第一次循环命中子串
+2,此时第2组的值为+,第3组的值为2 - 第二次循环命中子串
+3,此时第2组被覆盖为+,第3组被覆盖为3,第一次循环存储的2会被直接丢弃
这套逻辑在Python、Java、JavaScript等所有传统正则引擎中的表现完全一致——把同一段正则放到PCRE环境运行,不开启特殊非标准扩展的话,拿到的结果和Go环境没有任何区别。
- 第一次循环命中子串
Go/RE2正则的能力边界
- Go采用的RE2引擎从设计目标上就严格遵循线性时间匹配的要求,不做回溯操作,也不会为了保存循环中间的捕获状态额外消耗内存。这也就意味着RE2从根本上不支持“在单个匹配结果中收集所有带量词捕获组的历史值”的能力。
- 哪怕是支持回溯的传统正则引擎(比如PCRE),能够收集所有循环中间捕获值的特性也属于非标准扩展,并非通用正则能力。而且这种用法本身已经偏离了正则表达式的设计初衷:正则天生是为模式匹配设计的,并不适合承担需要结构化收集序列的语法解析任务。
Go环境下完成算术表达式tokenize的可行实现
完全不需要依赖重复捕获的特殊能力,调整匹配思路就能实现预期的token拆分效果:
- 放弃“用单个全量匹配一次性捕获所有token”的思路,改用全局逐次匹配的逻辑。把正则改写为
\d+|[*/+-],这个表达式的匹配规则非常直白:要么捕获一段连续的数字序列,要么捕获单个基础运算符。 - 调用
FindAllString方法对整个输入字符串做全局匹配,就能按照出现顺序拿到所有拆分好的token:
比如对输入2*3+5/6运行上述正则,得到的匹配结果为["2", "*", "3", "+", "5", "/", "6"],可以覆盖所有测试场景的token需求,没有任何遗漏。
这里需要澄清一个非常常见的认知误区:很多人误以为正则的
*量词作用是“把子模式的所有匹配结果都存入对应的捕获组”,实际上*的核心语义只是“允许该子模式在目标字符串中重复出现任意次,整体算作一个连续的匹配片段”,它不会为每一次重复匹配单独分配独立的存储槽位。
内容的提问来源于stack exchange,提问作者maerics
相关产品推荐
相关产品推荐

