如何加速处理大型TSV文件的Bash脚本？

一、先解决最大性能瓶颈：减少进程创建开销 #

你当前脚本的最大问题是每一行都启动6个awk进程，进程创建和销毁的开销在处理大文件时会被放大到极致，这是速度慢的核心原因。直接把所有逻辑整合到单个awk脚本里，避免频繁fork子进程，性能会提升一个数量级。

优化后的单进程脚本 #

#!/bin/bash
zcat input.tsv.gz | awk '
BEGIN {
    FS="\t";
    OFS="\t";
    # 定义需要提取的字段
    keys["MAX"] = "";
    keys["MIN"] = "";
    keys["SUM"] = "";
    keys["SD"] = "";
    keys["IQR"] = "";
    keys["RANG"] = "";
}
NR == 1 {
    # 处理表头，输出新表头
    print $1, $2, $3, $4, $5, $6, "MAX", "MIN", "SUM", "SD", "IQR", "RANG";
    next;
}
{
    # 初始化提取到的值
    delete vals;
    # 分割第7列的键值对
    n = split($7, parts, ";");
    for (i=1; i<=n; i++) {
        split(parts[i], kv, "=");
        if (kv[1] in keys) {
            vals[kv[1]] = kv[2];
        }
    }
    # 输出结果，确保对应字段存在（不存在则为空）
    print $1, $2, $3, $4, $5, $6, 
          "MAX="vals["MAX"], "MIN="vals["MIN"], 
          "SUM="vals["SUM"], "SD="vals["SD"], 
          "IQR="vals["IQR"], "RANG="vals["RANG"];
}
'

这个脚本只启动一次awk进程，所有字段提取逻辑都在awk内部完成，完全避免了bash循环和多次调用awk的开销，这是最有效的优化手段。

二、并行处理：用GNU Parallel进一步提速 #

如果单进程脚本还是无法充分利用多核CPU，可以用GNU Parallel实现并行处理。注意要避免重复解压文件，先把文件解压到管道，再分块给Parallel处理：

并行处理脚本示例 #

#!/bin/bash
# 先解压文件到管道，然后按行分块给Parallel处理
zcat input.tsv.gz | parallel --pipe -N 10000 '
awk "
BEGIN {
    FS=\"\t\";
    OFS=\"\t\";
    keys[\"MAX\"] = \"\"; keys[\"MIN\"] = \"\"; keys[\"SUM\"] = \"\";
    keys[\"SD\"] = \"\"; keys[\"IQR\"] = \"\"; keys[\"RANG\"] = \"\";
}
NR == 1 && ENVIRON[\"PARALLEL_SEQ\"] == 1 {
    print $1, $2, $3, $4, $5, $6, \"MAX\", \"MIN\", \"SUM\", \"SD\", \"IQR\", \"RANG\";
}
NR > 1 || ENVIRON[\"PARALLEL_SEQ\"] != 1 {
    delete vals;
    n = split($7, parts, \";\");
    for (i=1; i<=n; i++) {
        split(parts[i], kv, \"=\");
        if (kv[1] in keys) {
            vals[kv[1]] = kv[2];
        }
    }
    print $1, $2, $3, $4, $5, $6, 
          \"MAX=\"vals[\"MAX\"], \"MIN=\"vals[\"MIN\"], 
          \"SUM=\"vals[\"SUM\"], \"SD=\"vals[\"SD\"], 
          \"IQR=\"vals[\"IQR\"], \"RANG=\"vals[\"RANG\"];
}
"
'

• -N 10000：每10000行分给一个awk进程处理，你可以根据CPU核心数调整这个值（核心数越多，这个值可以适当调小）
• ENVIRON["PARALLEL_SEQ"] == 1：确保表头只输出一次，避免多个进程重复输出表头

三、为什么你之前的方法没用？ #

• &和wait：每一行都后台运行，会导致系统创建大量进程，进程切换开销远大于并行带来的收益，反而更慢
• nice：只是调整进程的CPU优先级，不会让脚本占用更多资源，所以对提升速度没有帮助

内容的提问来源于stack exchange，提问作者pathfinder