Bash脚本并行提取tar文件时，如何避免输出内容行混乱？

问题场景 #

你当前的Bash脚本通过循环从多个大体积tar.bz2归档中提取指定的*/little.csv文件，输出到标准输出后经格式化、排序生成合并的CSV文件：

(
    for file in /path/*.tar.bz2
    do
        tar -O -xf "$file" '*/little.csv'
    done
) | reformat | sort > combined.csv

由于归档文件体积大，串行提取耗时久，想利用服务器多核心并行处理，但直接给tar命令加&并配合wait会导致多个进程的输出行交错混乱，且希望避免使用临时文件。

可行解决方案 #

方案1：使用GNU Parallel（推荐） #

如果服务器已安装GNU Parallel，这是最简洁的解决方案。它默认会保证每个并行任务的输出连续完整，不会出现行交错的情况，同时会根据CPU核心数自动调整并行进程数：

parallel tar -O -xf {} '*/little.csv' ::: /path/*.tar.bz2 | reformat | sort > combined.csv

• 若需要指定并行进程数（比如限制为8个），可以添加-P 8参数：

parallel -P 8 tar -O -xf {} '*/little.csv' ::: /path/*.tar.bz2 | reformat | sort > combined.csv

方案2：给每行添加唯一前缀（无外部依赖） #

如果无法使用GNU Parallel，可以给每个并行任务的输出行添加唯一标识前缀，确保即使输出交错，每行仍是完整可区分的，后续再去掉前缀即可。为避免和CSV内容冲突，建议使用不可见的分隔符（如\x01）：

(
    idx=0
    for file in /path/*.tar.bz2
    do
        # 强制行缓冲，避免半行输出
        ( stdbuf -oL tar -O -xf "$file" '*/little.csv' | stdbuf -oL awk -v idx="$idx" -v sep="\x01" '{print idx sep $0}' ) &
        ((idx++))
    done
    wait
) | reformat | awk -F"\x01" '{sub(/^[^\x01]+\x01/, ""); print}' | sort > combined.csv

• 原理：每个tar任务的输出行都会被加上唯一索引前缀，即使多个进程同时输出，每行都是完整的；后续通过awk去掉前缀，不影响最终的格式化和排序。

内容的提问来源于stack exchange，提问作者Mikhail T.