PERL中Uncontrolled Memory Allocation错误求助（Checkmarx检测）

问题背景 #

Checkmarx检测以下Perl代码时，提示$file_list存在Uncontrolled Memory Allocation（不受控内存分配）安全问题：

open ( INFILE, "<", "$inputfile" ) || die( "Cannot read list file $inputfile" );

while ( <INFILE> )
{
    $file = $_;
    chomp ( $file );
    $file_list{$file} = "1";
}

尝试通过限制单个键的长度来修复，但Checkmarx仍报相同错误：

if(length($file) <= (1 * 1024 * 1024))
    {
        $file_list{$file} = "1";
    }

错误原因分析 #

• 单个键的长度限制无法解决根本问题：哈希的内存占用取决于键的总数量，而非单个键的大小。如果输入文件包含大量行（比如数十万甚至数百万条），即使每个键都很短，哈希也会持续膨胀，最终耗尽系统内存。
• Checkmarx的规则核心是检测是否存在无限制向集合（哈希/数组）中添加元素的行为，只要没有限制集合的总元素数量，就会触发该告警。

可行解决方案 #

1. 限制哈希的最大元素数量 #

在循环中添加哈希元素数量的判断，当达到预设阈值时停止添加元素：

my $MAX_HASH_ENTRIES = 10000; # 根据业务需求调整阈值

open ( INFILE, "<", "$inputfile" ) || die( "Cannot read list file $inputfile" );

while ( <INFILE> )
{
    $file = $_;
    chomp ( $file );
    # 同时限制单个键长度和哈希总元素数
    if(length($file) <= (1 * 1024 * 1024) && scalar(keys %file_list) < $MAX_HASH_ENTRIES)
    {
        $file_list{$file} = "1";
    }
    else
    {
        warn "跳过条目：键过长或哈希已达最大容量";
        # 也可选择直接终止程序，根据业务场景调整
        # die "哈希容量已达上限，终止程序";
    }
}

2. 改用按需处理模式，避免全量存储 #

如果业务逻辑不需要保留所有文件记录，可直接在读取每行时处理，无需将所有键存入哈希：

open ( INFILE, "<", "$inputfile" ) || die( "Cannot read list file $inputfile" );

while ( <INFILE> )
{
    $file = $_;
    chomp ( $file );
    if(length($file) <= (1 * 1024 * 1024))
    {
        # 直接执行业务处理逻辑，比如检查文件、统计等
        process_file($file);
    }
}

# 示例处理函数
sub process_file {
    my $file_path = shift;
    # 编写具体处理逻辑
    if (-e $file_path) {
        print "文件 $file_path 存在\n";
    }
}

3. 使用磁盘存储替代内存哈希 #

若必须保留大量记录，可通过Perl的DBM绑定模块将哈希存储到磁盘，减少内存占用：

use SDBM_File;
use Fcntl qw(O_RDWR O_CREAT);

# 将哈希绑定到磁盘文件
tie %file_list, 'SDBM_File', './file_records.db', O_RDWR|O_CREAT, 0644 
    or die "无法创建磁盘哈希文件: $!";

open ( INFILE, "<", "$inputfile" ) || die( "Cannot read list file $inputfile" );

while ( <INFILE> )
{
    $file = $_;
    chomp ( $file );
    if(length($file) <= (1 * 1024 * 1024))
    {
        $file_list{$file} = "1";
    }
}

# 解除绑定，确保数据写入磁盘
untie %file_list;

内容的提问来源于stack exchange，提问作者XMenZ