如何配置PyCharm等IDE调试Airflow的PythonOperator任务？

太懂这种用CLI调试Airflow代码的痛苦了！每次改一点代码就要敲一遍命令，还没法直观查看变量、单步执行，效率低到爆炸。下面给你分享两种主流IDE的配置方法，让你直接用调试工具在Airflow环境里开发PythonOperator的代码，完全不用把依赖移出Airflow环境。

这是我日常开发Airflow最常用的方式，配置好之后调试体验拉满：

• 第一步：把PyCharm的Python解释器指向你的Airflow环境
  打开PyCharm，进入File > Settings > Project: [你的项目名] > Python Interpreter，点击右上角的齿轮图标选择Add。如果你的Airflow是装在虚拟环境（比如venv、conda）里的，就选对应的环境类型，找到环境里的Python路径；如果是系统级安装的，直接选系统解释器里对应Airflow的那个Python版本。确认解释器列表里能找到apache-airflow包，没问题就保存配置。

• 第二步：创建Run/Debug Configuration执行airflow test
  点击PyCharm右上角的运行配置下拉框，选择Edit Configurations，点击+号选Python：

  • Name：起个好记的名字，比如Airflow Test MyTask
  • Script path：不要填你的DAG文件，而是填Airflow命令的绝对路径（终端里用which airflow（Linux/macOS）或where airflow（Windows）就能查到），比如/Users/me/airflow-venv/bin/airflow
  • Parameters：填test [你的DAG_ID] [你的TASK_ID] [执行日期]，比如test user_sync_dag sync_user_data 2024-05-20
  • Working directory：选你的DAG文件所在的Airflow dags文件夹路径
  • Environment variables：把你平时运行Airflow用到的环境变量加进来，比如AIRFLOW_HOME=/Users/me/airflow，还有数据库连接相关的AIRFLOW__DATABASE__SQL_ALCHEMY_CONN，直接从终端复制就行
    保存配置后，点击调试按钮（那个小虫子图标）就能启动调试了。

• 第三步：给PythonOperator的代码加断点
  打开你的DAG文件，找到PythonOperator调用的业务函数，在需要调试的行左边点击加断点。启动调试后，程序会自动在断点处停下，你就能用PyCharm的调试工具查看变量、单步执行、检查调用栈了，和调试普通Python代码完全一样！

如果你习惯用VS Code，配置步骤也很简单：

• 第一步：选择Airflow环境的Python解释器
  按Ctrl+Shift+P（Windows/Linux）或Cmd+Shift+P（macOS），输入Python: Select Interpreter，选择你的Airflow环境对应的Python解释器。

• 第二步：创建调试配置文件
  打开左侧的调试面板（虫子图标），点击create a launch.json file，选择Python，然后把默认配置替换成下面的内容（记得根据你的实际情况修改路径和参数）：

  {
      "version": "0.2.0",
      "configurations": [
          {
              "name": "Airflow Test Task",
              "type": "python",
              "request": "launch",
              "program": "/path/to/your/airflow", // 替换成Airflow命令的绝对路径
              "args": [
                  "test",
                  "user_sync_dag", // 你的DAG ID
                  "sync_user_data", // 你的Task ID
                  "2024-05-20" // 执行日期
              ],
              "cwd": "/path/to/your/airflow/dags", // DAG文件夹路径
              "env": {
                  "AIRFLOW_HOME": "/path/to/your/airflow/home",
                  // 其他需要的Airflow环境变量，比如数据库连接
              },
              "console": "integratedTerminal"
          }
      ]
  }
  

  保存配置后，给代码加断点，点击调试启动按钮就能开始调试了。

• 调试前确保Airflow的数据库连接正常，因为airflow test会实际连接数据库读取配置，和生产环境行为一致
• 如果你的Airflow scheduler正在运行，调试时可能会遇到数据库锁的问题，建议暂时停掉scheduler再调试
• 要是任务需要动态日期，可以在配置里修改执行日期参数，PyCharm还支持在启动调试时手动输入参数，非常灵活

内容的提问来源于stack exchange，提问作者Mathias Andersen