读取44GB blastp输出JSON文件内存不足，求逐块读取方案

你的问题出在一次性将44GB的JSON文件全部加载到内存中解析，这必然会触发内存不足错误。解决核心是使用流式/增量JSON解析，不需要加载整个文件，逐块解析并处理单个结果对象，保持内存占用在可控范围内。

推荐方案：使用Perl的流式JSON解析模块 #

Perl中有多个支持增量解析的JSON模块，下面给出两种实用实现：

方案一：使用JSON::XS（高性能，底层可控） #

JSON::XS是Perl中性能优异的JSON处理模块，支持增量解析，适合处理超大型文件。

步骤1：安装模块

cpanm JSON::XS

步骤2：示例代码

#!/usr/bin/env perl

use strict;
use warnings FATAL => 'all';
use autodie ':all';
use JSON::XS;
use utf8;
use open ':std', ':encoding(UTF-8)';

# 逐块处理流中的NaN（BLASTP输出的JSON不符合标准，包含非JSON规范的NaN）
sub stream_with_nan_fix {
    my ($fh) = @_;
    my $buffer = '';
    return sub {
        my $chunk = <$fh>;
        return undef unless defined $chunk;
        $chunk =~ s/NaN/"NaN"/g;
        $buffer .= $chunk;
        # 拆分出完整的JSON token，避免截断
        while ($buffer =~ s/^(.*?)([\[\]\{\},:\s])//s) {
            my ($token, $sep) = ($1, $2);
            return $token if length $token;
            return $sep;
        }
        return $buffer if length $buffer;
        return undef;
    };
}

my $json_path = 'blastp.results/homo.sapiens.json';
open my $fh, '<:raw', $json_path;

# 初始化增量解析器
my $json_parser = JSON::XS->new->utf8;
my $streamer = stream_with_nan_fix($fh);

# 解析外层数组（BLASTP JSON通常为数组结构，每个元素是一条比对结果）
my $in_results_array = 0;
while (my $token = $streamer->()) {
    if ($token eq '[') {
        $in_results_array = 1;
        next;
    }
    last if $token eq ']' && $in_results_array;

    # 解析单个比对结果对象
    if ($token eq '{') {
        my $result_obj;
        $result_obj = $json_parser->incr_parse($token);
        while (my $part = $streamer->()) {
            $result_obj = $json_parser->incr_parse($part);
            last if defined $result_obj;
        }
        # 处理当前结果（替换为你的业务逻辑）
        process_single_blast_result($result_obj);
        $result_obj = undef; # 立即释放内存
    }
}

close $fh;

# 自定义结果处理函数
sub process_single_blast_result {
    my ($result) = @_;
    # 示例：打印Query ID和比对得分
    if (exists $result->{query_id} && exists $result->{score}) {
        say "Query: $result->{query_id}, Score: $result->{score}";
    }
}

方案二：使用JSON::Streaming::Reader（高层封装，更简洁） #

该模块封装了底层token处理，代码更简洁，适合快速开发。

步骤1：安装模块

cpanm JSON::Streaming::Reader

步骤2：示例代码

#!/usr/bin/env perl

use strict;
use warnings FATAL => 'all';
use autodie ':all';
use JSON::Streaming::Reader;
use utf8;
use open ':std', ':encoding(UTF-8)';

my $json_path = 'blastp.results/homo.sapiens.json';
open my $fh, '<:raw', $json_path;

# 创建流式阅读器，同时处理NaN
my $reader = JSON::Streaming::Reader->new(
    fh => $fh,
    filter => sub {
        my ($path, $value, $type) = @_;
        # 将非标准的NaN替换为字符串"NaN"
        return '"NaN"' if $type eq 'nan';
        return $value;
    }
);

# 遍历结果数组，逐个处理对象
$reader->iterate_array(
    sub {
        my ($result_obj) = @_;
        process_single_blast_result($result_obj);
    }
);

close $fh;

# 自定义结果处理函数
sub process_single_blast_result {
    my ($result) = @_;
    # 替换为你的实际处理逻辑
    say "Query: $result->{query_id}" if exists $result->{query_id};
}

关键注意事项 #

• 确保使用64位Perl：32位Perl存在文件大小和内存地址空间限制，无法处理44GB级别的文件。
• 及时释放内存：处理完单个结果对象后，手动undef变量，让Perl垃圾回收机制及时释放内存。
• 避免累积输出：如果需要写入结果文件，建议逐行写入，不要将所有输出存储到内存中。

内容的提问来源于stack exchange，提问作者con