如何高效将file1首列作为超大file2每行前缀并拆分字符

我有两个行数相同的文件，需将file1第一列的每个值作为file2对应行的前缀，同时将file2每行的每个字符用单个空格分隔。file2为超大规模文件，单行列数达7000多万。

示例 #

输入文件file2 #

10000
10019

输入文件file1 #

Ind1
Ind2

期望输出 #

Ind1 1 0 0 0 0 
Ind2 1 0 0 1 9

已尝试的方案及遇到的问题 #

1. 曾查找为每行添加不同前缀的方案，但无法适配遍历另一文件首列值的需求。
2. 参考方案写出如下命令，但未达到预期效果：

awk ' { print $1 } ' file1 <(sed 's/./& /g' file2) > output 

3. 尝试两种主流工具方案均报错：
   • 使用paste+sed组合命令时，出现正则输入缓冲区溢出错误：

     paste -d ' ' file1 <(sed 's/./& /g' file2) > file3 
     

     错误提示：

     sed: regex input buffer length larger than INT_MAX
     

   • 使用awk命令时，因内存不足崩溃：

     awk '{head=$0} (getline tail < "file2") > 0{gsub(/./," &",tail); print head tail}' file1 > file3
     

     错误提示：

     awk: cmd. line:1: (FILENAME=file1.txt FNR=1) fatal: builtin.c:3058:sub_common: buf: cannot reallocate 1949336035328 bytes of memory: Cannot allocate memory. 
     

可行解决方案 #

针对超大规模单行文件，核心是避免将整行数据加载到内存，改用逐字符流式处理的方式。推荐使用Perl编写轻量脚本，内存占用极低：

#!/usr/bin/perl
use strict;
use warnings;

# 打开两个文件句柄
open my $fh_prefix, '<', 'file1' or die "无法打开file1: $!";
open my $fh_content, '<', 'file2' or die "无法打开file2: $!";

# 逐行配对处理
while (my $prefix = <$fh_prefix>) {
    chomp $prefix;
    my $line = <$fh_content>;
    chomp $line;
    
    # 输出前缀
    print $prefix;
    # 逐个字符输出，添加空格分隔
    foreach my $char (split //, $line) {
        print " $char";
    }
    print "\n";
}

# 关闭文件句柄
close $fh_prefix;
close $fh_content;

使用步骤 #

1. 将上述代码保存为process_large_files.pl
2. 执行脚本生成结果：

perl process_large_files.pl > output.txt

方案优势 #

• 逐行读取两个文件，单字符级处理，内存占用仅取决于单个字符和前缀的大小，完全适配7000万列的超大规模文件
• 避开了sed的缓冲区限制和awk处理超长篇文本时的内存分配问题

内容的提问来源于stack exchange，提问作者mugdi