Airflow中BashOperator执行Python脚本无文件生成且无日志输出问题

1. 路径与环境不一致问题 #

• Python解释器不匹配：Jupyter使用的Python环境和Airflow Worker的环境可能不同，比如Jupyter用python3但Airflow默认指向Python2，或者脚本依赖的包仅存在于Jupyter的虚拟环境中。
  • 解决：用which python3获取你的目标Python完整路径，在BashOperator中明确指定，比如/usr/local/bin/python3 /opt/airflow/dags/scripts/sales.py。
• 脚本/输出路径错误：Airflow Worker的默认工作目录不是你本地调试的目录，可能导致找不到脚本，或者CSV文件生成在你未留意的路径（比如Airflow主目录）。
  • 解决：全程使用绝对路径，比如脚本路径写/opt/airflow/dags/scripts/sales.py，CSV输出到/opt/airflow/data/sales_data.csv，同时确保Worker对输出目录有读写权限。

2. Airflow Variables访问异常 #

• 脚本调用Airflow Variables时可能出现权限不足、key拼写错误（大小写敏感）等问题，但如果没加异常捕获，脚本可能静默退出且返回码为0，导致Airflow判定执行成功。
  • 解决：在脚本关键位置增加调试输出，并捕获异常返回非0退出码，示例代码：

    from airflow.models import Variable
    import sys
    
    try:
        api_token = Variable.get("sales_api_token")
        print(f"Loaded API token: {api_token[:4]}...")  # 输出部分内容验证
    except Exception as e:
        print(f"Failed to load Airflow Variable: {str(e)}")
        sys.exit(1)
    

3. 日志捕获与输出缓冲问题 #

• Python默认会缓冲标准输出，导致print内容无法实时写入Airflow日志；或者脚本的错误输出未被捕获，导致异常信息丢失。
  • 解决：调用脚本时添加-u参数禁用缓冲，同时将错误输出重定向到标准输出，比如python -u /opt/airflow/dags/scripts/sales.py 2>&1。

4. 文件权限问题 #

• Airflow Worker运行的用户（通常是airflow用户）没有CSV输出目录的读写权限，导致文件无法生成，但脚本未抛出权限异常。
  • 解决：调整目录权限，比如执行chown airflow:airflow /opt/airflow/data或chmod 775 /opt/airflow/data，同时在脚本中对文件操作添加异常捕获。

5. 虚拟环境未激活 #

• Jupyter依赖的虚拟环境在Airflow执行时未激活，导致脚本缺失依赖包，执行失败但返回码为0。
  • 解决：在BashOperator命令中先激活虚拟环境再执行脚本，比如source /opt/airflow/venv/bin/activate && python -u /opt/airflow/dags/scripts/sales.py。

内容的提问来源于stack exchange，提问作者Ekaterina Ponkratova