如何将嵌套字典作为环境变量传入Kubernetes Pod Operator？

报错原因 #

Kubernetes的EnvVar规范要求环境变量的值必须是字符串类型，直接传入Python字典PARAM时，K8s API无法将字典对象反序列化为Go结构体中定义的字符串类型字段，因此抛出cannot unmarshal object into Go struct field EnvVar.spec.containers.env.value of type string错误。

可行解决方案：将字典序列化为JSON字符串传递 #

1. 在DAG脚本中修改参数传递方式

使用json.dumps()把嵌套字典转换成JSON格式的字符串，作为环境变量的值传入：

import json

PARAM = {
    'key1' : 'value1',
    'key2' : 'value2'
}

t1 = KubernetesPodOperator(
    task_id=task_id,
    name=task_name,
    cmds=["pipenv", "run", "python3", "myscript.py"],
    env_vars={
        'GCS_PROJECT': GCS_PROJECT,
        'GCS_BUCKET': GCS_BUCKET,
        'PARAM': json.dumps(PARAM)  # 将字典转为JSON字符串
    },
    image=docker_image
)

2. 在目标脚本myscript.py中解析JSON字符串

读取环境变量后，用json.loads()把JSON字符串转回Python字典：

import os
import json

# 读取环境变量并解析
param_str = os.getenv('PARAM')
PARAM = json.loads(param_str)

# 后续即可正常使用字典
print(PARAM['key1'])  # 输出 value1

备选方案：使用ConfigMap传递复杂配置 #

如果字典内容较多或需要复用，也可以将PARAM存入Kubernetes的ConfigMap，然后在KubernetesPodOperator中挂载该ConfigMap到容器的环境变量或文件：

t1 = KubernetesPodOperator(
    task_id=task_id,
    name=task_name,
    cmds=["pipenv", "run", "python3", "myscript.py"],
    env_vars={
        'GCS_PROJECT': GCS_PROJECT,
        'GCS_BUCKET': GCS_BUCKET,
    },
    configmaps=['your-param-configmap'],  # 挂载已创建的ConfigMap
    image=docker_image
)

需要提前创建包含PARAM键值对的ConfigMap，示例命令：

kubectl create configmap your-param-configmap --from-literal=key1=value1 --from-literal=key2=value2

内容的提问来源于stack exchange，提问作者zZzZ