shell循环中fastq.gz行数衍生变量传递给awk命令报错如何解决

错误根因 #

• 变量赋值语法错误：var=echo $(...) 写法不符合bash规则无法生效，且算术运算的位置错误导致计算结果被当成命令执行，触发找不到文件/目录报错
• 管道逻辑错误：wc -l 输出的行数需要先捕获再做除法，不能直接将算术表达式放在管道后当可执行文件调用
• 变量调用未加引号，存在空格文件名或空值变量的运行风险

修复后可运行脚本 #

for file in *R1.fastq*; do
    # 先统计fastq.gz文件总行数
    total_lines=$(zcat "$file" | wc -l)
    # 计算阈值，整数除法直接用bash内置算术运算
    var=$(( total_lines / 400000 ))
    # 可选：避免阈值为0导致后续过滤逻辑异常
    if [ "$var" -eq 0 ]; then
        var=1
    fi
    for i in *Bacter*; do
        awk -v var1="$var" '$2 >= var1' "$i" | wc -l >> bacter-filtered.txt
    done
done

可选优化点 #

• 如果需要保留小数阈值，替换阈值计算行为：

  var=$(echo "scale=2; $total_lines / 400000" | bc)
  

• 大体积fastq.gz文件可以用多线程解压工具pigz提速，替换行数统计行为：

  total_lines=$(pigz -dc "$file" | wc -l)
  

• 若*Bacter*匹配的文件列表固定，可提前提取到外层循环外遍历，避免重复匹配文件提升效率。

内容的提问来源于stack exchange，提问作者desplat yvain