Airflow 3.1.5（AKS部署）：如何在部署时初始化创建应用池、角色等

1. 利用Helm钩子配合自定义Kubernetes Job #

Helm的钩子机制可以在部署/升级的特定阶段触发一次性Job，完美适配这类初始化操作，既不会和调度器init容器重复，也无需人工干预。

• 实现步骤：
  • 在Helm values.yaml中配置钩子Job：

    jobs:
      airflow-init:
        enabled: true
        image: apache/airflow:3.1.5-python3.11 # 与你的Airflow镜像保持一致
        command: ["python", "/scripts/init_airflow.py"]
        volumes:
          - name: init-scripts
            configMap:
              name: airflow-init-scripts
        volumeMounts:
          - name: init-scripts
            mountPath: /scripts
        annotations:
          "helm.sh/hook": pre-upgrade,pre-install
          "helm.sh/hook-weight": "1"
          "helm.sh/hook-delete-policy": hook-succeeded,hook-failed
    

  • 创建ConfigMap存放你的Python初始化脚本：

    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: airflow-init-scripts
    data:
      init_airflow.py: |
        from airflow.settings import Session
        from airflow.models.pool import Pool
        from airflow.models.role import Role
    
        session = Session()
    
        # 创建自定义应用池
        if not session.query(Pool).filter(Pool.pool == "my-app-pool").first():
            new_pool = Pool(
                pool="my-app-pool",
                slots=8,
                description="专属应用任务池"
            )
            session.add(new_pool)
    
        # 创建自定义角色
        if not session.query(Role).filter(Role.name == "app-operator").first():
            new_role = Role(
                name="app-operator",
                permissions=[] # 根据需求添加具体权限
            )
            session.add(new_role)
    
        session.commit()
        session.close()
    

  • 将ConfigMap和Job配置整合到你的Helm部署流程即可。
• 优势：完全自动化执行，与Airflow主部署解耦，钩子成功后自动清理资源，不会重复执行。

2. 扩展调度器启动命令，添加前置初始化脚本 #

如果不想额外定义Job，可以修改调度器的启动命令，在启动Airflow调度器前先执行初始化脚本（确保脚本是幂等的），保证每次调度器启动时都能检查并创建所需实体。

• 实现步骤：
  • 在values.yaml中修改调度器配置：

    scheduler:
      command: >
        bash -c "
          python /scripts/init_airflow.py &&
          airflow scheduler
        "
      volumes:
        - name: init-scripts
          configMap:
            name: airflow-init-scripts
      volumeMounts:
        - name: init-scripts
          mountPath: /scripts
    

  • 复用上面的ConfigMap初始化脚本即可。
• 优势：无需额外资源，借助现有调度器容器实现，脚本幂等的话能确保实体始终存在；缺点是调度器启动会多一步执行，但轻量脚本几乎无影响。

3. 使用Airflow官方Chart的startupScripts配置 #

这是最贴合官方设计的方案，Chart内置支持启动时执行自定义脚本，无需额外资源定义。

• 实现步骤：
  • 在values.yaml中添加：

    scheduler:
      startupScripts:
        init_airflow.sh: |
          #!/usr/bin/env bash
          python << 'EOF'
          from airflow.settings import Session
          from airflow.models.pool import Pool
          from airflow.models.role import Role
    
          session = Session()
    
          # 创建应用池
          if not session.query(Pool).filter(Pool.pool == "my-app-pool").first():
              new_pool = Pool(
                  pool="my-app-pool",
                  slots=8,
                  description="专属应用任务池"
              )
              session.add(new_pool)
    
          # 创建自定义角色
          if not session.query(Role).filter(Role.name == "app-operator").first():
              new_role = Role(
                  name="app-operator",
                  permissions=[]
              )
              session.add(new_role)
    
          session.commit()
          session.close()
          EOF
    

• 优势：配置简洁，完全利用官方Chart能力，脚本在调度器启动时自动执行，幂等设计避免重复创建。

内容的提问来源于stack exchange，提问作者Martin Secher Skeem