Perl锚定正则表达式性能不升反降问题排查咨询

问题与数据 #

本文末尾附生成本次NYTProf性能数据的完整脚本，该脚本构建哈希结构后，尝试删除包含指定不良模式的键。通过NYTProf运行代码得到如下性能统计：

delete @$hash{ grep { /\Q$bad_pattern\E/ } sort keys %$hash };
# spent  7.29ms making    2 calls to main::CORE:sort, avg 3.64ms/call
# spent   808µs making 7552 calls to main::CORE:match, avg 107ns/call
# spent   806µs making 7552 calls to main::CORE:regcomp, avg 107ns/call

本次测试中main::CORE:match与main::CORE:regcomp的调用次数均超过7000次，已足够消除统计噪声。
后续需求调整为：仅当不良模式出现在键的起始位置时才删除对应键。按照正则优化逻辑，添加^锚定符应该能提升匹配性能，但多次重复运行NYTProf得到的统计结果非常一致，如下所示：

delete @$hash{ grep { /^\Q$bad_pattern\E/ } sort keys %$hash };
# spent  7.34ms making    2 calls to main::CORE:sort, avg 3.67ms/call
# spent   1.62ms making 7552 calls to main::CORE:regcomp, avg 214ns/call
# spent   723µs making 7552 calls to main::CORE:match, avg 96ns/call

咨询问题 #

锚定正则理论上可缩小匹配范围、提升执行效率，但本次测试中添加锚定后相关main::CORE:*方法的总耗时近乎翻倍。请问该测试数据集存在什么特殊属性，导致锚定正则出现额外的性能损耗？

完整测试脚本 #

use strict;
use Devel::NYTProf;

my @states = qw(KansasCity MississippiState ColoradoMountain IdahoInTheNorthWest AnchorageIsEvenFurtherNorth);
my @cities = qw(WitchitaHouston ChicagoDenver);
my @streets = qw(DowntownMainStreetInTheCity CenterStreetOverTheHill HickoryBasketOnTheWall);
my @seasoncode = qw(8000S 8000P 8000F 8000W);
my @historycode = qw(7000S 7000P 7000F 7000W 7000A 7000D 7000G 7000H);
my @sides = qw(left right up down);

my $hash;
for my $state (@states) {
    for my $city (@cities) {
        for my $street (@streets) {
            for my $season (@seasoncode) {
                for my $history (@historycode) {
                    for my $side (@sides) {
                        $hash->{$state . '[0].' . $city . '[1].' . $street . '[2].' . $season . '.' . $history . '.' . $side} = 1;
                    }
                }
            }
        }
    }
}

sub CleanseHash {
    my @bad_patterns = (
        'KansasCity[0].WitchitaHouston[1].DowntownMainStreetInTheCity[2]',
        'ColoradoMountain[0].ChicagoDenver[1].HickoryBasketOnTheWall[2].8000F'
    );

    for my $bad_pattern (@bad_patterns) {
        delete @$hash{ grep { /^\Q$bad_pattern\E/ } sort keys %$hash };
    }
}

DB::enable_profile();
CleanseHash();
DB::finish_profile();

问题解答 #

首先观察性能数据可以发现，添加^锚定后，实际匹配阶段（main::CORE:match）的耗时确实下降了，符合锚定正则匹配效率更高的预期，额外的开销完全来自正则编译阶段（main::CORE:regcomp）的耗时翻倍。
出现该现象的核心原因有两点：

1. Perl正则引擎对带起始锚定的固定字符串匹配有额外的优化逻辑：当正则以^开头，且配合\Q转义固定字符串时，编译器会额外执行起始固定串的前缀校验和特征值预计算，用于后续匹配时的快速短路判断，这部分计算在不带^的普通包含匹配中不会触发，单次正则编译的耗时因此翻倍。
2. 代码写法放大了编译开销：带插值变量$bad_pattern的正则直接写在了grep的内部循环体中，导致Perl会为每一个遍历到的哈希键都重新编译一次正则，7552次编译调用刚好和哈希键的总遍历次数完全匹配，把单次编译的额外开销放大了数千倍，最终表现为总耗时近乎翻倍。

如果调整代码，在grep外部预编译正则（示例：my $re = qr/^\Q$bad_pattern\E/;），避免重复编译，就能观测到锚定正则的总耗时显著低于非锚定版本，符合性能优化的预期。

内容的提问来源于stack exchange，提问作者user1333371