使用Lambda函数在Snakemake中下载文件报错：IOFile无法直接使用

问题定位 #

你遇到的ValueError: This IOFile is specified as a function and may not be used directly错误，核心原因是Snakemake不允许在output字段中使用lambda函数。从你提供的验证示例可直接佐证：当output用lambda定义时会触发SyntaxError: Only input files can be specified as functions，改用通配符定义固定格式的输出路径则能正常运行。

Snakemake的设计逻辑中，输入允许用动态函数（如lambda）获取远程/动态生成路径，但输出必须是可通过通配符明确映射、静态可解析的路径格式，这样才能构建正确的依赖关系图，准确追踪文件状态。

解决方案 #

针对从FTP下载FASTQ的需求，调整代码如下，核心是用通配符定义输出文件名，同时保留params中的lambda获取远程FTP路径：

import pandas as pd

samples = pd.read_table("data.tsv").set_index("sample", drop=False)

# 用expand生成所有需要的输出文件列表
rule all:
    input:
        expand("{sample}_1.fastq.gz", sample=samples["sample"]),
        expand("{sample}_2.fastq.gz", sample=samples["sample"])

rule dl:
    output:
        # 用通配符定义固定格式的输出文件
        "{sample}_1.fastq.gz",
        "{sample}_2.fastq.gz"
    params:
        # 保留lambda获取远程FTP路径
        read1=lambda wildcards: samples.loc[wildcards.sample, "read1"],
        read2=lambda wildcards: samples.loc[wildcards.sample, "read2"]
    shell:
        """
        # 先下载到临时文件，再移动到目标路径，避免下载中Snakemake检测文件状态异常
        wget -O temp_{wildcards.sample}_1.fastq.gz {params.read1}
        wget -O temp_{wildcards.sample}_2.fastq.gz {params.read2}
        mv temp_{wildcards.sample}_1.fastq.gz {output[0]}
        mv temp_{wildcards.sample}_2.fastq.gz {output[1]}
        """

关键调整说明 #

1. rule all的输入：用expand生成所有样本的输出文件列表，替代原lambda写法，让Snakemake明确知晓需要生成的文件集合。
2. output字段：改用{sample}_1.fastq.gz这类通配符格式的静态路径，完全符合Snakemake的输出规则。
3. Shell命令优化：下载时先存到临时文件再移动到目标路径，避免Snakemake在下载过程中检测到未完成的文件，导致状态判断错误。

可选方案：保留原始FTP文件名 #

如果需要保留FTP上的原始文件名，可提前提取文件名并构建映射关系，再用expand生成输入列表：

import pandas as pd

samples = pd.read_table("data.tsv").set_index("sample", drop=False)

# 提前构建样本与原始文件名的映射
sample_to_read1 = {row["sample"]: row["read1"].split('/')[-1] for _, row in samples.iterrows()}
sample_to_read2 = {row["sample"]: row["read2"].split('/')[-1] for _, row in samples.iterrows()}

rule all:
    input:
        expand("{read1}", read1=sample_to_read1.values()),
        expand("{read2}", read2=sample_to_read2.values())

rule dl:
    output:
        "{read1}",
        "{read2}"
    params:
        # 通过文件名反向匹配样本，获取远程FTP路径
        read1_path=lambda wildcards: samples.loc[
            [k for k, v in sample_to_read1.items() if v == wildcards.read1][0], "read1"
        ],
        read2_path=lambda wildcards: samples.loc[
            [k for k, v in sample_to_read2.items() if v == wildcards.read2][0], "read2"
        ]
    shell:
        "wget {params.read1_path}; wget {params.read2_path}"

这种方式能保留原始文件名，但需要额外构建映射关系，适合对文件名有严格要求的场景。

内容的提问来源于stack exchange，提问作者hrchen18