如何将DAG的params传递给KubernetesPodOperator并适配argparse？

问题出在直接传递{{ params }}时，Airflow渲染后的字符串是Python字典格式（含单引号、未转义空格），shell会将空格当作参数分隔符，导致argparse无法识别完整的--config参数值。以下是修复方案：

步骤1：修改DAG代码，将params序列化为标准JSON字符串 #

使用Airflow的tojson过滤器把params字典转为合法的JSON字符串，确保shell将其作为单一参数传递：

with DAG(
    "pipeline",
    render_template_as_native_obj=True,
) as dag:

    prevalidation = KubernetesPodOperator(
        task_id="pre-validation",
        name="pre-validation",
        cmds=["python3"],
        arguments=[
            "-m",
            "prevalidation",
            "--config",
            "{{ params | tojson }}",  # 转为标准JSON字符串，自动处理引号和转义
        ],
    )

步骤2：修改预处理脚本解析JSON字符串 #

在prevalidation.py中，将接收的JSON字符串反序列化为字典：

import json
from argparse import ArgumentParser

if __name__ == "__main__":
    parser = ArgumentParser()
    parser.add_argument("--config", type=str, required=True)
    args, unknown = parser.parse_known_args()
    
    # 将JSON字符串转为字典
    config = json.loads(args.config)
    
    # 这里添加合法性校验逻辑
    print("校验配置:", config)

为什么之前的方法无效？ #

• 直接传递{{ params }}会生成类似{'key': 'val', 'sub': {'k': 'v'}}的Python格式字符串，shell解析时会按空格拆分参数，导致argparse收到多个零散的参数片段。
• tojson过滤器会生成标准的双引号JSON字符串（如{"key": "val", "sub": {"k": "v"}}），Airflow渲染后会正确保留完整字符串，shell将其作为一个整体传给脚本，argparse能正常识别。

内容的提问来源于stack exchange，提问作者Gábor Fekete