You need to enable JavaScript to run this app. Shell批量遍历多测序目录提取XML指定行的重定向报错解决
优惠活动
大模型
产品
解决方案
定价
更多

Shell批量遍历多测序目录提取XML指定行的重定向报错解决

问题背景

现有两套Illumina测序产出的目录结构如下:

171219_NB501241_0070_AHCHYNBGX5
├── fastq
│   ├── Reports
│   ├── Stats
│   ├── Undetermined_S0_R1_001.fastq.gz
│   └── Undetermined_S0_R2_001.fastq.gz
├── Logs
│   └── Logs.zip
├── Recipe
│   └── NS2932577-REAGT.xml
├── RTAComplete.txt
├── RTAConfiguration.xml
└── samplesheet.R70.csv
180201_NB501241_0088_AHJ2GHBGX5
├── fastq
│   ├── Reports
│   ├── Stats
│   ├── Undetermined_S0_R1_001.fastq.gz
│   └── Undetermined_S0_R2_001.fastq.gz
├── Logs
│   └── Logs.zip
├── Recipe
│   └── NS2951235-REAGT.xml
├── RTAComplete.txt
├── RTAConfiguration.xml
└── samplesheet.R88.csv

需求

遍历每个测序根目录,读取对应路径下fastq/Stats/DemultiplexingStats.xml中的指定内容(包含<Sample name、<BarcodeCount标签的行),在每个目录的fastq子文件夹内独立生成统计文本文件。

报错现象

最初编写的循环代码如下:

for i in 70 88
do cat *0${i}*/fastq/Stats/DemultiplexingStats.xml | grep -e "<Sample name" -e "<BarcodeCount" >> *0${i}*/fastq/rawcounts2
done

执行后bash抛出如下错误:

-bash: *070*/fastq/rawcounts2: No such file or directory
-bash: *088*/fastq/rawcounts2: No such file or directory

曾发现如果把重定向操作放到循环末端执行可以正常运行,但无法满足“每个目录单独生成对应文件”的需求。

报错根因

Shell解析命令有固定时序:在执行管道内的任何命令前,会先完成通配符展开、变量替换、重定向路径校验。
当代码解析到重定向目标*0${i}*/fastq/rawcounts2时,如果通配符在当前工作目录下没有匹配到实际存在的目录条目,bash会直接判定该路径不存在,抛出报错并终止命令执行,根本不会走到后续cat、grep的环节。
之前“把重定向放循环末端可正常运行”只是巧合:当管道前序命令执行完成后,shell才会解析重定向部分的通配符,此时通配符刚好匹配到了已存在的目录,但这种实现方式逻辑非常不可靠,一旦解析时序出现偏移就会报错,也无法保证每个目录生成独立的目标文件。

可稳定运行的实现方案

调整代码逻辑,先通过通配符匹配实际目录路径存入变量,再基于明确存在的路径执行操作,避免通配符解析时序错位问题。可直接使用如下代码:

for i in 70 88
do
  # 匹配对应测序产出的根目录路径
  target_root=$(ls -d *0${i}*/ 2>/dev/null)
  # 校验目录有效性,避免空路径导致的文件生成错误
  if [[ -n "$target_root" && -d "${target_root}fastq" ]]; then
    # 直接读取XML文件并匹配目标行,写入对应目录的rawcounts2文件
    grep -e "<Sample name" -e "<BarcodeCount" \
      "${target_root}fastq/Stats/DemultiplexingStats.xml" \
      > "${target_root}fastq/rawcounts2"
  fi
done

代码优化说明

  • 提前将通配符匹配的目录路径存入独立变量,重定向的目标路径是经过校验的真实存在路径,不会再触发路径不存在的报错
  • 去掉冗余的cat管道,grep本身支持直接读取目标文件,减少不必要的进程开销
  • 增加目录有效性判断,避免路径匹配失败时将文件生成到错误位置
  • 重定向使用>覆盖模式,适配每个循环生成独立文件的需求,避免多次执行代码时文件内容重复追加

核心避坑提示:不要对重定向路径使用通配符。重定向属于shell的解析前置环节,不会等待管道命令执行完成后再做路径匹配,通配符写在重定向路径里是典型的不规范用法。


内容的提问来源于stack exchange,提问作者garcesj

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 10:15:04