遍历子目录批量处理.txt与对应.fastq文件的脚本技术问询

原脚本功能分析 #

你的脚本核心逻辑是遍历指定目录下的所有子目录（包括目录本身），在每个子目录中找到所有*v1.txt和*v1.fastq文件，对每一对txt和fastq文件执行grep -A3 -f "$f" "$q"，并将结果输出为${f%.txt}_ex.fastq。

如果你的需求是每个子目录下的所有txt文件与所有fastq文件两两组合处理，脚本逻辑基本符合预期，但存在几个潜在问题：

1. 目录切换导致路径错误：cd $subdir后未回到原工作目录，后续处理其他子目录时，若$subdir是相对路径会出现路径不存在的错误；如果子目录名称含空格或特殊字符（如&），cd操作会直接失败。
2. 文件名含空格时的分割错误：p_files=$(find . -name '*v1.txt')将结果存入变量后，循环展开时会把带空格的文件名拆分成多个元素，导致找不到目标文件。
3. 误处理顶层目录：find $dir -type d会把$dir本身纳入遍历，若顶层目录无目标文件会做无用功，若有则会额外处理，可能不符合你“遍历所有子目录”的需求。

如果你的需求是每个txt文件与同目录下同名的fastq文件对应处理（比如abc_v1.txt对应abc_v1.fastq），原脚本逻辑不符合预期——它会让每个txt和所有fastq组合处理，而非匹配同名文件。

优化后的脚本 #

针对上述问题，兼顾两种可能的需求，给出优化版本：

场景1：每个txt与同目录下所有fastq两两处理 #

#!/bin/bash
# 检查输入参数
if [ $# -ne 1 ]; then
    echo "用法: $0 <目标目录>"
    exit 1
fi

target_dir="$1"

# 遍历目标目录下的所有子目录（排除顶层目录），用while read避免空格问题
find "$target_dir" -mindepth 1 -type d | while read -r subdir; do
    # 在子目录中查找所有txt和fastq文件，同样用while read处理
    find "$subdir" -maxdepth 1 -name '*v1.txt' | while read -r txt_file; do
        find "$subdir" -maxdepth 1 -name '*v1.fastq' | while read -r fq_file; do
            output_file="${txt_file%.txt}_ex.fastq"
            # 执行grep并输出，同时检查文件是否存在
            if [ -f "$txt_file" ] && [ -f "$fq_file" ]; then
                grep -A3 -f "$txt_file" "$fq_file" > "$output_file"
                echo "已处理: $txt_file -> $fq_file -> $output_file"
            else
                echo "警告: 文件不存在 - $txt_file 或 $fq_file"
            fi
        done
    done
done

场景2：每个txt与同目录下同名的fastq处理 #

如果是同名匹配的需求，修改内层逻辑通过文件名匹配找到对应fastq：

#!/bin/bash
if [ $# -ne 1 ]; then
    echo "用法: $0 <目标目录>"
    exit 1
fi

target_dir="$1"

find "$target_dir" -mindepth 1 -type d | while read -r subdir; do
    find "$subdir" -maxdepth 1 -name '*v1.txt' | while read -r txt_file; do
        # 提取txt文件名前缀，拼接对应的fastq文件名
        base_name="${txt_file%_v1.txt}"
        fq_file="${base_name}_v1.fastq"
        output_file="${txt_file%.txt}_ex.fastq"
        
        if [ -f "$fq_file" ]; then
            grep -A3 -f "$txt_file" "$fq_file" > "$output_file"
            echo "已处理: $txt_file -> $fq_file -> $output_file"
        else
            echo "警告: 未找到对应fastq文件 - $fq_file"
        fi
    done
done

关键优化点 #

• 避免目录切换：直接使用文件绝对路径处理，无需cd，彻底解决路径混乱问题。
• 安全遍历文件：用while read -r代替变量存储find结果，完美处理含空格或特殊字符的文件名。
• 参数检查：增加输入参数校验，避免无参数运行时的错误。
• 文件存在校验：执行grep前检查文件是否存在，避免报错并给出明确提示。
• 灵活控制目录范围：用-mindepth 1确保只遍历子目录，若需包含顶层目录，去掉该参数即可。
• 进度跟踪：增加处理日志，方便跟踪进度和排查问题。

内容的提问来源于stack exchange，提问作者Paolo Lorenzini