如何在Airflow KubernetesPodOperator中配置ConfigMap环境变量及派生变量

需求说明 #

你当前使用Airflow的KubernetesPodOperator，已经指定了configmaps=["middleware-ips"]，需要实现两个配置：

1. 将ConfigMap middleware-ips 中mongodb-main键对应的值设为MONGO_URL环境变量
2. 设置APP_MONGOCONFIG_URI环境变量，值为mongodb://$(MONGO_URL)/db?compressors=zstd（引用前面的MONGO_URL变量）

实现方案 #

注意：KubernetesPodOperator的env_vars参数仅支持静态键值对，无法实现从ConfigMap动态取值的valueFrom逻辑。要达成需求，需要使用env参数，传入Kubernetes官方的环境变量对象来配置。

修改后的完整代码 #

from airflow.kubernetes.secret import Secret
from kubernetes.client import V1EnvVar, V1EnvVarSource, V1ConfigMapKeySelector
from datetime import datetime

db_pass = Secret('env', 'DB_PASS', 'db-credentials', 'db_user')

# 配置从ConfigMap获取MONGO_URL
mongo_url_env = V1EnvVar(
    name="MONGO_URL",
    value_from=V1EnvVarSource(
        config_map_key_ref=V1ConfigMapKeySelector(
            name="middleware-ips",
            key="mongodb-main"
        )
    )
)

# 配置引用MONGO_URL的APP_MONGOCONFIG_URI
app_mongo_config_env = V1EnvVar(
    name="APP_MONGOCONFIG_URI",
    value="mongodb://$(MONGO_URL)/db?compressors=zstd"
)

# 原有静态环境变量转成标准EnvVar对象
java_opts_env = V1EnvVar(
    name="JAVA_OPTS",
    value="-XX:MaxRAMPercentage=65.0"
)

# 合并所有环境变量
env_list = [mongo_url_env, app_mongo_config_env, java_opts_env]

with DAG(
        'my_dag',
        start_date=datetime(2023, 2, 7),
        schedule_interval='@hourly',
        catchup=False
) as dag:
    KubernetesPodOperator(
        namespace='jobs',
        image='my-image',
        env=env_list,  # 使用env参数传递环境变量列表
        labels={'env': 'airflow'},
        secrets=[db_pass],
        # 若无需导入该ConfigMap的所有键值对，可删除下面这行
        # configmaps=["middleware-ips"],
        name='my-dag',
        is_delete_operator_pod=True,
        get_logs=True,
        resources=resources,
        image_pull_secrets='quay-key',
        task_id='my-task',
        startup_timeout_seconds=600,
        dag=dag
    )

关键说明 #

1. 环境变量的两种配置方式：
   • 静态值环境变量（如JAVA_OPTS）可以转成V1EnvVar对象，和动态取值的变量一起放到env列表中
   • 动态取值的变量通过value_from关联ConfigMap的键，对应你期望的Kubernetes YAML中的valueFrom.configMapKeyRef逻辑
2. 变量引用语法：$(MONGO_URL)是Kubernetes原生的环境变量引用语法，Pod启动时会自动将MONGO_URL的实际值替换到该位置
3. 关于configmaps参数：如果仅需要引用ConfigMap中的特定键，建议删除configmaps=["middleware-ips"]，避免导入多余的环境变量；如果需要批量导入该ConfigMap的所有键值对，则保留该参数

内容的提问来源于stack exchange，提问作者Izbassar Tolegen