Airflow BashOperator执行sed处理HDFS文件报未终止s命令错误

报错核心是多层转义冲突叠加命令逻辑缺陷：

1. Airflow执行shell命令时，命令字符串会先后经过Jinja模板渲染、Bash解释器解析两层转义处理，编写的\r会在转义过程中被提前解析，最终传递给sed的替换表达式残缺，触发unterminated 's' command错误。
2. 原命令存在严重逻辑问题：读取HDFS文件的同时直接回写同一路径，hdfs dfs -put会先清空目标文件再写入，此时cat还未完成源文件读取，最终会得到空文件或损坏文件。

所有方案都遵循「先写临时文件，完成后替换原文件」的逻辑规避读写冲突，根据运行环境选一个即可：

• 方案1：使用Bash ANSI-C引用传递回车符（兼容性最好）
  用$'...'格式让Bash直接把\r解析为真实的回车字符，不会出现转义丢失，不需要额外加g全局匹配参数（每行只有一个行尾锚点）：

  hdfs dfs -cat /test/file.txt | sed $'s/$/\r/' | hdfs dfs -put -f - /test/file.txt.tmp
  hdfs dfs -mv /test/file.txt.tmp /test/file.txt
  

• 方案2：多转义一层反斜杠适配GNU sed
  如果运行环境是GNU版本sed，可以给\r多加一个反斜杠，经过两层转义后最终传到sed的参数为正确的\r：

  hdfs dfs -cat /test/file.txt | sed 's/$/\\r/' | hdfs dfs -put -f - /test/file.txt.tmp
  hdfs dfs -mv /test/file.txt.tmp /test/file.txt
  

• 方案3：用unix2dos替代sed（无转义负担）
  如果集群节点预装了unix2dos工具，直接用它做LF转CRLF，完全不需要处理转义问题：

  hdfs dfs -cat /test/file.txt | unix2dos | hdfs dfs -put -f - /test/file.txt.tmp
  hdfs dfs -mv /test/file.txt.tmp /test/file.txt
  

注意：如果Airflow是用Jinja模板渲染命令，要注意避免模板引擎把$符号识别为模板变量，必要时可以给$加转义，或者在BashOperator里设置template_ext=()关闭对应文件的模板渲染。

内容的提问来源于stack exchange，提问作者Alex K