如何仅通过GitHub Actions将GitHub仓库同步至Airflow DAGs？

先指出你现有代码里的几个核心问题：

• Jobs语法错误：jobs块下不能直接写name，正确结构是jobs: [自定义jobID]:，再在内部定义name字段
• Install Poetry的Action路径错误，应该使用官方维护的snok/install-poetry@v1.3.1，而非/install-poetry@v1.3.1
• 最后一步用actions/checkout@Sync_test完全错误，这个Action仅用于检出GitHub仓库代码，无法实现DAG文件向Airflow目录的同步

下面分场景给出可行的同步方案：

场景1：自托管Airflow服务器（有SSH访问权限） #

如果你的Airflow部署在自有服务器上，且能通过SSH访问，可借助SCP/RSync工具同步文件。

前置准备 #

在GitHub仓库的Secrets中配置以下信息：

• AIRFLOW_SSH_KEY：服务器SSH私钥
• AIRFLOW_SERVER_HOST：服务器IP或域名
• AIRFLOW_SERVER_USER：服务器登录用户名
• AIRFLOW_DAG_DIR：Airflow的DAG目录绝对路径

修正后的Actions代码 #

on:
  push:
    branches:
      - Sync_test
    paths:
      - 'dags/**'

jobs:
  sync-dags:
    name: "Test DAGs Sync"
    runs-on: ubuntu-latest
    steps:
      - name: Checkout code
        uses: actions/checkout@v3

      # 若仅需同步文件，无需依赖安装，可删除以下Poetry相关步骤
      - name: Install Poetry
        uses: snok/install-poetry@v1.3.1

      - name: Set up Python
        id: setup-python
        uses: actions/setup-python@v4
        with:
          python-version: '3.10'
          cache: 'poetry'
          cache-dependency-path: 'airflow/poetry.lock'

      - name: Install dependencies
        run: |
          poetry env use ${{ steps.setup-python.outputs.python-version }}
          poetry install --no-interaction
      
      - name: Sync DAGs to Airflow server
        uses: appleboy/scp-action@v0.1.7
        with:
          host: ${{ secrets.AIRFLOW_SERVER_HOST }}
          username: ${{ secrets.AIRFLOW_SERVER_USER }}
          key: ${{ secrets.AIRFLOW_SSH_KEY }}
          source: "dags/*"
          target: ${{ secrets.AIRFLOW_DAG_DIR }}

场景2：托管式Airflow服务（如AWS MWAA、GCP Composer） #

这类服务通常依赖对象存储同步DAG文件，只需将代码推送到对应存储桶，服务会自动加载DAG。

AWS MWAA方案 #

前置准备

在GitHub Secrets中配置：

• AWS_ACCESS_KEY_ID：AWS访问密钥ID
• AWS_SECRET_ACCESS_KEY：AWS密钥
• AWS_REGION：MWAA所在区域
• MWAA_S3_DAG_PATH：MWAA对应的S3桶DAG路径（如s3://your-mwaa-bucket/dags/）

同步步骤（添加到Actions中）

- name: Configure AWS credentials
        uses: aws-actions/configure-aws-credentials@v4
        with:
          aws-access-key-id: ${{ secrets.AWS_ACCESS_KEY_ID }}
          aws-secret-access-key: ${{ secrets.AWS_SECRET_ACCESS_KEY }}
          aws-region: ${{ secrets.AWS_REGION }}

      - name: Sync DAGs to MWAA S3 bucket
        run: |
          aws s3 sync ./dags/ ${{ secrets.MWAA_S3_DAG_PATH }} --exclude ".git/*" --exclude "__pycache__/*"

GCP Composer方案 #

前置准备

在GitHub Secrets中配置：

• GCP_SERVICE_ACCOUNT_KEY：GCP服务账号JSON密钥
• GCP_PROJECT_ID：GCP项目ID
• COMPOSER_DAG_BUCKET：Composer对应的GCS桶名称

同步步骤（添加到Actions中）

- name: Authenticate to GCP
        uses: google-github-actions/auth@v2
        with:
          credentials_json: ${{ secrets.GCP_SERVICE_ACCOUNT_KEY }}

      - name: Set up Cloud SDK
        uses: google-github-actions/setup-gcloud@v2

      - name: Sync DAGs to Composer GCS bucket
        run: |
          gsutil rsync -r ./dags/ gs://${{ secrets.COMPOSER_DAG_BUCKET }}/dags/ -x ".git|__pycache__"

通用注意事项 #

• 同步时务必排除无关文件（如.git、__pycache__、依赖锁文件等），避免Airflow加载无效内容
• 自托管服务器需确保SSH密钥拥有DAG目录的写入权限，且防火墙允许GitHub Actions的IP访问
• 托管服务需确认服务账号拥有对应存储桶的读写权限

内容的提问来源于stack exchange，提问作者OS95