基于Bash-awk-parallel按字段分流大文件行至进程并行计算

我需要处理一个超大型文本数据集，具体需求如下：

• 原始文件包含1300万行数据，按第一字段可划分为2377个独立分类，每行包含3万个字段
• 需按第一字段将不同类别的行分配给独立进程，并行执行自定义Bash统计命令（测试场景为计算第二字段的标准差，实际任务逻辑更复杂）
• 当前实现需要为每个分类生成磁盘临时文件file$i，但我希望跳过临时文件步骤，直接在读取原始文件时将对应类别的行发送至对应进程处理，避免额外磁盘IO开销

以下两种方案均无需生成磁盘临时文件，直接实现按分类并行处理：

方案1：AWK + 命名管道（FIFO） #

该方案仅读取一次原始文件，通过内存级管道将行实时分发到对应处理进程，适合超大型文件场景：

# 1. 提取所有唯一分类，创建对应命名管道并启动后台处理进程
cut -d' ' -f1 large_file.txt | sort -u | while read category; do
    # 创建内存管道（无磁盘写入）
    mkfifo "pipe_$category"
    # 启动后台进程处理该分类数据，替换为你的实际统计命令
    # 示例：计算第二字段的标准差
    awk '{sum+=$2; sum2+=$2*$2} END {print sqrt(sum2/NR - (sum/NR)^2)}' "pipe_$category" > "result_$category" &
done

# 2. 遍历原始文件，将行写入对应分类的管道
awk '{print > "pipe_"$1}' large_file.txt

# 3. 等待所有进程完成，清理管道
wait
cut -d' ' -f1 large_file.txt | sort -u | while read category; do
    rm "pipe_$category"
done

注意事项： #

• 若分类数量较多（2377个），需临时调整系统文件描述符上限：ulimit -n 4096
• 字段分隔符需匹配实际数据，比如逗号分隔则将-d' '改为-d','

方案2：GNU Parallel #

该方案语法更简洁，但每个进程会独立读取一次原始文件，适合磁盘IO压力较小的场景：

# 提取唯一分类，并行启动进程处理对应分类数据
cut -d' ' -f1 large_file.txt | sort -u | parallel -j+0 '
    # 筛选对应分类的行，传给你的统计命令
    awk -v target_cat="{}" "$1 == target_cat" large_file.txt | your_custom_stat_command > result_{}
'

参数说明： #

• -j+0：使用与CPU核心数一致的并行进程数，也可指定固定值（如-j 32）
• your_custom_stat_command：替换为实际执行统计任务的Bash命令

内容的提问来源于stack exchange，提问作者Raph the raph