ICU、Rust与PCRE正则匹配结果差异原因咨询

问题根源：不同正则引擎对\w的默认Unicode支持策略不同 #

你遇到的匹配结果差异，核心原因是各正则引擎对\w的匹配范围定义、以及是否默认启用Unicode属性解析的规则不一致：

1. PCRE（regexr.com环境）的行为

   • 若未开启PCRE的u（Unicode）标志，\w仅匹配ASCII范围的字符：[A-Za-z0-9_]。
   • 针对字符串"戦場のヴァルキュリア3"：
     • 日文假名、汉字不属于ASCII的\w，也不是空白符，因此被[^\w\s]+匹配为"戦場のヴァルキュリア"；
     • 后续的"3"属于ASCII数字，符合\w+的匹配规则，被单独拆分出来作为第二部分。

2. ICU与Rust正则引擎的行为

   • ICU和Rust的正则库默认启用Unicode属性支持，此时\w会匹配所有Unicode分类中的字母（包含日文假名/汉字）、数字、下划线。
   • 对于"戦場のヴァルキュリア3"，整个字符串的日文字符和数字"3"都属于\w的匹配范围，因此被\w+一次性匹配为一个整体，不会触发[^\w\s]+分支。

统一匹配结果的修正方案 #

如果希望ICU和Rust的匹配结果与PCRE一致，可采用以下两种方式：

• 关闭Unicode模式：让\w仅匹配ASCII字符（Rust的regex crate可通过RegexBuilder::unicode(false)设置；ICU需调整正则选项）；
• 修改正则表达式：明确拆分ASCII数字与非ASCII字符，比如改为[A-Za-z_]+|[0-9]+|[^\w\s]+，强制将数字单独匹配。

内容的提问来源于stack exchange，提问作者Damons