如何用Make实现带容错与缓存的命令管道工作流？

需求梳理 #

你的核心流程是类管道式处理链：cat input.txt | ./first.sh | ./second.sh > output.txt（cat仅作流程示意），需要实现两个关键特性：

• 容错跳过：任一脚本执行失败（返回码非0）时，直接将输入传递给下一个脚本，等价于跳过该失败脚本
• 缓存复用：自动缓存中间步骤结果，避免重复执行未变更的步骤

Make实现方案 #

Make本身的依赖检查机制天然支持缓存，结合简单的返回码处理就能实现容错跳过逻辑，以下是两种可行模式：

模式1：用Wrapper脚本封装容错逻辑 #

为每个处理脚本写轻量wrapper，处理失败时转发输入：

# run_first.sh
#!/bin/bash
./first.sh || cat

# run_second.sh
#!/bin/bash
./second.sh || cat

然后编写Makefile，利用依赖管理实现缓存：

# 最终输出目标
output.txt: intermediate.txt
	./run_second.sh < $< > $@

# 中间结果目标
intermediate.txt: input.txt
	./run_first.sh < $< > $@

# 清理命令
clean:
	rm -f intermediate.txt output.txt

• 缓存逻辑：Make会自动检查依赖文件的修改时间，只有input.txt更新时才会重新生成intermediate.txt，只有intermediate.txt更新时才会生成output.txt
• 容错逻辑：如果first.sh执行失败，run_first.sh会通过cat把input.txt的内容直接输出到intermediate.txt，相当于跳过first.sh直接进入下一个步骤

模式2：直接在Make规则中处理容错（无需额外Wrapper） #

如果不想维护额外的wrapper脚本，可以把容错逻辑直接写在Make规则里：

output.txt: intermediate.txt
	# 执行second.sh，失败则直接复制输入到输出
	./second.sh < $< > $@ || cat $< > $@

intermediate.txt: input.txt
	# 执行first.sh，失败则直接复制输入到中间文件
	./first.sh < $< > $@ || cat $< > $@

clean:
	rm -f intermediate.txt output.txt

该逻辑与模式1完全一致，只是把容错判断从独立脚本移到了Make的规则命令中，更精简。

进阶优化：监听脚本本身的变更 #

如果处理脚本（first.sh/second.sh）本身会修改，需要把它们加入依赖，确保脚本更新后重新执行对应步骤：

intermediate.txt: input.txt first.sh
	./first.sh < $< > $@ || cat $< > $@

output.txt: intermediate.txt second.sh
	./second.sh < $< > $@ || cat $< > $@

内容的提问来源于stack exchange，提问作者NeilK