Shell批量遍历多测序目录提取XML指定行的重定向报错解决
问题背景
现有两套Illumina测序产出的目录结构如下:
171219_NB501241_0070_AHCHYNBGX5 ├── fastq │ ├── Reports │ ├── Stats │ ├── Undetermined_S0_R1_001.fastq.gz │ └── Undetermined_S0_R2_001.fastq.gz ├── Logs │ └── Logs.zip ├── Recipe │ └── NS2932577-REAGT.xml ├── RTAComplete.txt ├── RTAConfiguration.xml └── samplesheet.R70.csv 180201_NB501241_0088_AHJ2GHBGX5 ├── fastq │ ├── Reports │ ├── Stats │ ├── Undetermined_S0_R1_001.fastq.gz │ └── Undetermined_S0_R2_001.fastq.gz ├── Logs │ └── Logs.zip ├── Recipe │ └── NS2951235-REAGT.xml ├── RTAComplete.txt ├── RTAConfiguration.xml └── samplesheet.R88.csv
需求
遍历每个测序根目录,读取对应路径下fastq/Stats/DemultiplexingStats.xml中的指定内容(包含<Sample name、<BarcodeCount标签的行),在每个目录的fastq子文件夹内独立生成统计文本文件。
报错现象
最初编写的循环代码如下:
for i in 70 88 do cat *0${i}*/fastq/Stats/DemultiplexingStats.xml | grep -e "<Sample name" -e "<BarcodeCount" >> *0${i}*/fastq/rawcounts2 done
执行后bash抛出如下错误:
-bash: *070*/fastq/rawcounts2: No such file or directory -bash: *088*/fastq/rawcounts2: No such file or directory
曾发现如果把重定向操作放到循环末端执行可以正常运行,但无法满足“每个目录单独生成对应文件”的需求。
报错根因
Shell解析命令有固定时序:在执行管道内的任何命令前,会先完成通配符展开、变量替换、重定向路径校验。
当代码解析到重定向目标*0${i}*/fastq/rawcounts2时,如果通配符在当前工作目录下没有匹配到实际存在的目录条目,bash会直接判定该路径不存在,抛出报错并终止命令执行,根本不会走到后续cat、grep的环节。
之前“把重定向放循环末端可正常运行”只是巧合:当管道前序命令执行完成后,shell才会解析重定向部分的通配符,此时通配符刚好匹配到了已存在的目录,但这种实现方式逻辑非常不可靠,一旦解析时序出现偏移就会报错,也无法保证每个目录生成独立的目标文件。
可稳定运行的实现方案
调整代码逻辑,先通过通配符匹配实际目录路径存入变量,再基于明确存在的路径执行操作,避免通配符解析时序错位问题。可直接使用如下代码:
for i in 70 88 do # 匹配对应测序产出的根目录路径 target_root=$(ls -d *0${i}*/ 2>/dev/null) # 校验目录有效性,避免空路径导致的文件生成错误 if [[ -n "$target_root" && -d "${target_root}fastq" ]]; then # 直接读取XML文件并匹配目标行,写入对应目录的rawcounts2文件 grep -e "<Sample name" -e "<BarcodeCount" \ "${target_root}fastq/Stats/DemultiplexingStats.xml" \ > "${target_root}fastq/rawcounts2" fi done
代码优化说明
- 提前将通配符匹配的目录路径存入独立变量,重定向的目标路径是经过校验的真实存在路径,不会再触发路径不存在的报错
- 去掉冗余的
cat管道,grep本身支持直接读取目标文件,减少不必要的进程开销 - 增加目录有效性判断,避免路径匹配失败时将文件生成到错误位置
- 重定向使用
>覆盖模式,适配每个循环生成独立文件的需求,避免多次执行代码时文件内容重复追加
核心避坑提示:不要对重定向路径使用通配符。重定向属于shell的解析前置环节,不会等待管道命令执行完成后再做路径匹配,通配符写在重定向路径里是典型的不规范用法。
内容的提问来源于stack exchange,提问作者garcesj
相关产品推荐
相关产品推荐

