如何用Bash快速合并多物种文件夹下的基因数据文件？

问题背景 #

现有10个以物种命名的文件夹，每个文件夹含约45000个基因数据文件，文件名格式为queryName_speciesName.fasta，每个文件仅两行内容（序列ID+基因数据）。需将同一query的所有物种文件合并到joined/queryName_allCords.fna中，原脚本耗时数小时，需优化性能。

原脚本的性能瓶颈 #

1. 频繁IO操作：每个文件都执行cat >>，对输出文件进行45万次打开、写入、关闭操作，这是耗时核心原因。
2. 不可靠的文件名解析：用ls结果填充数组，若文件名含空格会出错；${fileN%_"${folder}"*}的截取方式易因物种名含下划线失效。
3. 循环开销大：嵌套bash循环执行45万次，进程启动和循环本身的累积开销显著。

优化方案 #

方案一：按Query批量合并（最优） #

核心思路：先收集每个Query对应的所有文件，一次性合并到输出文件，仅打开/关闭输出文件一次。

mkdir -p joined

# 生成唯一Query列表（从所有文件名中提取第一个下划线前的内容）
find */ -name "*.fasta" | sed 's/_[^_]*\.fasta$//' | sort -u > query_list.txt

# 遍历每个Query，合并所有对应文件
while read -r query; do
    # 用find一次性找到所有对应文件，通过cat {} +批量传入，减少进程启动
    find */ -name "${query}_*.fasta" -exec cat {} + > "joined/${query}_allCords.fna"
done < query_list.txt

rm query_list.txt

方案二：用AWK分组后批量合并 #

核心思路：用AWK快速按Query分组收集文件路径，再批量合并每组文件。

mkdir -p joined

# 用AWK按Query分组，将对应文件路径写入临时列表
find */ -name "*.fasta" | awk -F'_' '{
    query = $1
    print $0 >> "tmp_query_" query ".list"
}'

# 遍历临时列表，合并对应文件
for list_file in tmp_query_*.list; do
    # 提取Query名称
    query="${list_file#tmp_query_}"
    query="${query%.list}"
    # 批量合并所有文件到输出
    cat $(< "$list_file") > "joined/${query}_allCords.fna"
    rm "$list_file"
done

关键优化点说明 #

• 减少IO次数：每个输出文件仅打开一次，一次性写入所有内容，避免反复打开/关闭的开销。
• 批量处理文件：用find -exec cat {} +或批量cat，将多个文件传给同一个cat进程，减少进程启动次数。
• 可靠的Query提取：用sed 's/_[^_]*\.fasta$//'或awk -F'_' '{print $1}'提取Query，不受物种名格式影响。
• 避免ls解析问题：用find遍历文件，天然支持含空格的文件名，比ls更可靠高效。

可选：并行优化（需GNU Parallel） #

若系统CPU和IO资源充足，可使用GNU Parallel并行处理不同Query的合并，进一步缩短时间：

mkdir -p joined
find */ -name "*.fasta" | sed 's/_[^_]*\.fasta$//' | sort -u | parallel 'find */ -name "{}_*.fasta" -exec cat {} + > joined/{}_allCords.fna'

注意：并行时需确保系统IO负载在可承受范围内，避免因IO瓶颈抵消并行收益。

内容的提问来源于stack exchange，提问作者Dja Cha