Python与PCRE同正则输出差异：Zig中minbpe实现问题求助

核心原因 #

你遇到的问题根源在于：PCRE2仅通过-8参数只能将输入识别为UTF-8字节流，但默认未启用Unicode属性支持。这会导致\p{N}这类Unicode属性类仅匹配ASCII数字，无法识别印地语这类非ASCII Unicode数字。而Python的regex模块默认完全支持Unicode属性，因此能正确将印地语数字作为整体匹配。

命令行测试修复方案 #

使用pcre2test时，需同时添加-U（或--unicode）标志开启Unicode属性支持，配合已有的-8和-g参数，命令如下：

pcre2test -8 -U -g

执行后输入测试文本，就能得到与Python regex一致的输出：['abcdeparallel', ' १२४']。

Zig封装时的代码调整 #

在Zig中调用PCRE2 API编译正则表达式时，需要设置两个关键选项：

• PCRE2_UTF：对应命令行的-8，指定输入为UTF-8编码
• PCRE2_UCP：对应命令行的-U，启用Unicode属性匹配

示例代码片段：

const pcre2_options = PCRE2_UTF | PCRE2_UCP | PCRE2_GLOBAL;
// 使用上述选项编译正则表达式

设置这两个选项后，PCRE2就能正确识别所有Unicode字母（\p{L}）和数字（\p{N}），与Python regex的行为完全对齐。

内容的提问来源于stack exchange，提问作者draklor40