如何通过GitHub仓库部署Airflow DAG至生产服务器及相关CI/CD方案

1. GitHub仓库结构规划与自动同步方案 #

仓库结构建议 #

• 根目录下创建dags/文件夹，存放所有DAG文件（.py格式），可按业务模块拆分至子文件夹，比如dags/etl/、dags/reporting/
• 根目录下创建plugins/文件夹，存放自定义Airflow插件（如自定义操作符、钩子）
• 根目录下创建configs/文件夹，存放Airflow配置片段或环境变量配置（注意敏感信息需用Secret管理，不要直接存仓库）
• 根目录添加requirements.txt，记录DAG依赖的Python包

自动同步到生产服务器的方法 #

• 在生产服务器的Airflow DAG目录（默认$AIRFLOW_HOME/dags）克隆GitHub仓库，配置cron定时任务，每隔5-10分钟执行git pull拉取最新代码
• 更高效的方式是配置GitHub Webhook：当仓库有push事件时，触发生产服务器上的脚本，执行git pull，可选重启Airflow调度器确保新DAG加载（Airflow 2.x调度器可自动检测文件变化，重启非必须）

2. Airflow Web Server能否部署DAG文件？ #

官方Airflow Web Server不支持直接上传DAG文件，它仅用于查看DAG状态、触发任务、管理运行实例等操作。如果需要UI上传能力，需自行开发扩展（比如集成Flask上传服务）或借助第三方工具，但生产环境不推荐这种方式，更建议用Git+CI/CD的标准化流程。

3. Airflow的CI/CD方案及部署流程 #

核心流程 #

1. PR阶段校验：开发者提交代码到分支并发起PR时，自动执行以下校验：
   • 用flake8/pylint做代码风格检查
   • 用airflow dags test验证DAG能否正常解析、无语法错误
   • 检查依赖是否已在requirements.txt中声明
2. 主分支合并后部署：
   • 用GitHub Actions（或GitLab CI、Jenkins）作为CI/CD工具，代码合并到主分支时触发部署：
     • 打包DAG文件与必要插件
     • 通过SSH/Ansible将文件同步到生产服务器的Airflow DAG目录
     • 可选调用Airflow REST API的/api/v1/dags/parse接口，触发DAG重新解析
3. 环境隔离：建议拆分开发、测试、生产环境，对应GitHub的dev、staging、main分支，CI/CD自动将对应分支代码部署到对应环境

示例GitHub Actions配置片段 #

name: Deploy Airflow DAGs
on:
  push:
    branches: [ main ]
jobs:
  deploy:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: Sync DAGs to Production
        uses: appleboy/ssh-action@v1.0.3
        with:
          host: ${{ secrets.PROD_SERVER_HOST }}
          username: ${{ secrets.PROD_SERVER_USER }}
          key: ${{ secrets.PROD_SERVER_SSH_KEY }}
          script: |
            cd /opt/airflow/dags
            git pull origin main
            # 触发DAG重新解析（需提前配置Airflow API Token）
            curl -X POST http://localhost:8080/api/v1/dags/parse -H "Authorization: Bearer ${{ secrets.AIRFLOW_API_TOKEN }}"

内容的提问来源于stack exchange，提问作者Herosi