Scythe批量处理脚本异常排查及多核优化技术咨询

一、修复文件处理与输出文件名异常问题 #

你的脚本核心问题是没有提取原始文件的纯文件名（误用了完整路径），加上引号使用不规范，才导致输出文件名混乱、生成空文件的情况。下面是修复后的完整脚本：

#!/bin/bash
# 定义固定路径变量，提升脚本可读性和维护性
RAW_DIR="/home/dave/raw"
SCYTHE_BIN="/home/deve/scythe/scythe"
ADAPTER_FILE="/home/dev/scythe/illumina_adapters.fa"

# 遍历raw目录下的所有文件
for f in "$RAW_DIR"/*; do
    # 跳过非文件（比如子目录），避免报错
    [ -f "$f" ] || continue
    
    # 提取不带路径的纯文件名
    file_name=$(basename "$f")
    # 构造符合预期的输出文件名：OUT+原文件名
    output_name="OUT${file_name}"
    
    echo "Processing: $file_name -> $output_name"
    # 执行Scythe命令，所有参数用引号包裹，避免特殊字符引发问题
    "$SCYTHE_BIN" -a "$ADAPTER_FILE" -o "$output_name" "$f"
done

关键修复点： #

• 用basename "$f"提取纯文件名，彻底避免把完整路径拼接到输出名里
• 用变量单独存储输出文件名，确保引号包裹，兼容带空格的特殊文件名
• 增加[ -f "$f" ] || continue判断，防止遍历到目录时执行无效命令
• 把固定路径定义为变量，后续修改路径只需改一处

二、多核利用优化方案 #

针对单文件仅用1个核心的问题，分两种场景优化：

方案1：如果Scythe本身支持多线程 #

先运行"$SCYTHE_BIN" --help查看帮助文档，确认是否有线程相关参数（常见为-p/--threads）。如果支持，直接在命令中指定线程数，比如用满所有可用核心：

# 获取系统可用核心数
total_threads=$(nproc)
# 修改Scythe命令，添加线程参数（假设参数为-p）
"$SCYTHE_BIN" -a "$ADAPTER_FILE" -p "$total_threads" -o "$output_name" "$f"

方案2：用GNU Parallel并行处理多个文件 #

如果Scythe本身不支持单文件多线程，就用GNU Parallel同时启动多个Scythe进程，让每个文件占用一个核心，最大化利用多核资源。

首先安装GNU Parallel（比如apt install parallel或yum install parallel），然后替换原循环为：

#!/bin/bash
RAW_DIR="/home/dave/raw"
SCYTHE_BIN="/home/deve/scythe/scythe"
ADAPTER_FILE="/home/dev/scythe/illumina_adapters.fa"

# 并行处理所有文件，默认进程数等于核心数，--bar显示进度条
parallel --bar "$SCYTHE_BIN" -a "$ADAPTER_FILE" -o "OUT{/.}" {} ::: "$RAW_DIR"/*

并行方案说明： #

• ::: 后是待处理的文件列表
• {/.} 会自动替换为不带路径和后缀的文件名（如果要保留后缀直接用{}）
• 若要指定进程数（比如用100个核心），添加参数-j 100

测试建议 #

1. 先单文件验证修复效果：

SCYTHE_BIN="/home/deve/scythe/scythe"
ADAPTER_FILE="/home/dev/scythe/illumina_adapters.fa"
test_file="/home/dave/raw/file1"
output_name="OUT$(basename "$test_file")"
"$SCYTHE_BIN" -a "$ADAPTER_FILE" -o "$output_name" "$test_file"

确认OUTfile1正常生成且内容有效。

2. 并行测试可以先选少量文件验证：

parallel "$SCYTHE_BIN" -a "$ADAPTER_FILE" -o "OUT{/.}" {} ::: "$RAW_DIR"/file1 "$RAW_DIR"/file2

内容的提问来源于stack exchange，提问作者Kepasere