如何正确搭配sed与parallel的--jobs选项完成批量文本替换？

• 你遇到的替换不全的问题不是缺少参数，是命令逻辑本身存在竞态冲突：sed -i 修改文件的底层逻辑是读取原文件内容到临时文件、完成替换后用临时文件覆盖原文件。当你用100个并行任务同时修改同一个file时，多个任务会同时读取未被其他任务修改的原始文件版本，各自完成替换后互相覆盖对方的修改结果，最终只有部分任务的替换会被保留。多次运行时每次覆盖的结果随机，所以会出现替换量逐步增加但始终有遗漏的情况，单任务串行时没有覆盖冲突，因此能正常完成替换。

方案1：生成合并sed规则单次执行（效率最高） #

不需要用parallel，直接把所有替换规则合并为单个sed脚本一次性执行，仅需要一次文件读写IO，比多进程并行的效率更高：

sed -f <(awk '{print "s/"$1"/"$2"/g"}' input) -i file

如果你的匹配模式或替换内容中包含/字符，可以替换sed的分隔符避免语法错误，比如用#作为分隔符：

sed -f <(awk '{print "s#"$1"#"$2"#g"}' input) -i file

方案2：保留parallel的正确写法 #

如果确实需要使用parallel处理（比如规则包含复杂的自定义逻辑），要避免多进程同时写同一个文件，可以先让所有并行任务输出规则，再统一交给sed处理：

parallel -a input --colsep ' ' --jobs 100 'echo "s/{1}/{2}/g"' | sed -f - -i file

内容的提问来源于stack exchange，提问作者Forrest Vigor