Airflow 2.2.0升级后BashOperator任务运行日志缺失问题求助

排查方向 #

• 核对BashOperator编码配置：Airflow 2.2.0对BashOperator子进程输出编码逻辑做了不兼容变更，默认未显式指定编码时，若输出含非ASCII字符会直接截断日志，不会写入任务日志文件。
• 检查日志级别配置：2.2.0将subprocess相关日志的默认输出级别从INFO下调到DEBUG，若全局日志级别设为INFO，会直接过滤掉bash命令明细、stdout/stderr输出内容。
• 验证自定义日志类的适配性：2.2.0将BashOperator子进程日志的logger名称从airflow.operators.bash子日志器调整为独立的airflow.task.subprocess日志器，若自定义日志配置未给该logger配置输出规则，对应日志会被直接丢弃。
• 排查环境变量覆盖问题：若BashOperator通过env参数传入自定义环境变量，覆盖了系统LANG/LC_ALL等字符集配置，会导致子进程输出解码失败，日志直接丢失。

修复方案 #

• 显式指定输出编码：所有BashOperator调用新增output_encoding='utf-8'参数，示例：
  bash_task = BashOperator(task_id='test', bash_command='your_command', output_encoding='utf-8')
  无需逐个修改的全局配置方式：

  from functools import partialmethod
  from airflow.operators.bash import BashOperator
  BashOperator.__init__ = partialmethod(BashOperator.__init__, output_encoding='utf-8')
  

• 调整日志配置：在自定义日志配置类或airflow.cfg的logging段新增airflow.task.subprocess日志器配置，绑定和任务日志相同的handler，级别设为INFO即可：

  'loggers': {
      'airflow.task.subprocess': {
          'handlers': ['task'],
          'level': 'INFO',
          'propagate': False,
      },
      # 其他原有日志配置保持不变
  }
  

• 升级补丁版本：该问题为2.2.0已知回归bug，官方在2.2.1及后续版本已完成修复，直接升级到2.2.1+版本无需修改任何配置即可恢复原有日志逻辑。
• 临时排查方案：在bash命令末尾添加2>&1将stderr重定向到stdout，强制合并所有输出到标准输出，避免解码异常导致的日志丢失。

内容的提问来源于stack exchange，提问作者Darren O'Brien