JavaScript正则如何一次性捕获所有未被前置规则匹配的剩余内容

原正则的问题根源 #

现有正则结构("last-name"|"first-name"|"staff-id")|([\t ]+)|([\r\n]+)|(.+?)存在两个核心缺陷：

• 兜底组使用了无约束的非贪婪匹配.+?：非贪婪模式会以最小长度匹配内容，也就是单字符，在全局匹配（分词场景）下，会逐字符拆分所有未命中前置规则的内容，无法实现连续块一次性捕获的需求。
• 如果直接将兜底组改为贪婪匹配.+，又会因为正则分支的匹配优先级逻辑，一口气吞掉整个待解析字符串，将中间本来应该被前置token、空白规则命中的内容全部归入兜底组，彻底破坏分词逻辑。

正确实现方案 #

核心逻辑是给兜底组增加零宽正向前瞻约束，为兜底匹配设定明确的停止边界：一旦匹配过程中遇到可被前置规则命中的位置、或者到达字符串末尾，就立刻停止扩展匹配长度。
调整后的完整正则结构如下：

// 全局匹配的词法分析正则
const tokenRegex = /("last-name"|"first-name"|"staff-id")|([\t ]+)|([\r\n]+)|(.+?(?=("last-name"|"first-name"|"staff-id")|[\t ]+|[\r\n]+|$))/g;

各分组的逻辑说明 #

• 第1捕获组：优先级最高，匹配三个指定的带引号token。分支顺序放在最左侧，保证正则引擎优先尝试匹配这类跨多字符的长规则。
• 第2捕获组：匹配连续水平空白（制表符、普通空格）。
• 第3捕获组：匹配连续垂直空白（回车、换行）。
• 第4捕获组：兜底匹配组，核心逻辑由两部分组成：
  • 保留非贪婪匹配特性，从当前位置开始逐步扩展匹配长度
  • 附带的正向前瞻会重复列举所有前置规则的匹配模式，当遇到可被前置规则命中的位置、或字符串末尾时，立刻停止扩展。

方案效果 #

这个实现完全符合词法分析的分词逻辑：

• 优先级最高的长token、连续空白会被优先匹配，不会被兜底组误吞
• 所有不被前置规则命中的连续普通内容，会被兜底组一次性完整捕获，不需要逐字符拼接临时结果
• 匹配顺序完全符合正则分支从左到右的优先级，没有额外的回溯开销

测试示例：针对输入串部门信息："first-name" 张三 "staff-id" EMP001 备注，最终分词结果为：

• 兜底组匹配：部门信息：
• 指定token组匹配："first-name"
• 水平空白组匹配：
• 兜底组匹配：张三
• 垂直空白组匹配：\n
• 水平空白组匹配：
• 指定token组匹配："staff-id"
• 水平空白组匹配：
• 兜底组匹配：EMP001
• 水平空白组匹配：
• 兜底组匹配：备注

内容的提问来源于stack exchange，提问作者Jay Tennant