Airflow自定义Operator中XCOM pull模板未渲染为实际值问题

Airflow 仅会对 Operator 类中 template_fields 属性显式声明的字段执行 Jinja 模板渲染，你自定义的 CustomSparkSubmitOperator 未将 spark_args 纳入模板字段列表，因此字段内的模板字符串不会被解析，会原样输出到最终命令中。

1. 调整 CustomSparkSubmitOperator 类的定义，将 spark_args 添加到 template_fields 配置中：

class CustomSparkSubmitOperator(BaseOperator):
    # 新增/修改 template_fields 配置，列出所有需要渲染模板的字段
    template_fields = ("spark_args",)
    
    # 其余原有类属性、__init__ 方法、execute 方法保持不变

如果类本身已经存在 template_fields 配置，直接追加 spark_args 到列表即可，示例：

# 原有配置
template_fields = ("application", "deploy_mode")
# 修改后配置
template_fields = ("application", "deploy_mode", "spark_args")

2. 重启 Airflow Scheduler 与 Worker 节点，重新运行 DAG 即可看到模板被渲染为对应的 XCOM 取值。

如果调整后仍然未生效，可检查两个配置项：

• 确认 set_parameters 任务的执行顺序早于 download 任务，且已经成功将 input_file、output_file 写入 XCOM
• 如果你使用的是 Airflow 1.x 版本，需要确认 spark_args 内的嵌套列表结构没有被额外转义，Airflow 1.x 对嵌套结构的模板渲染支持需要保证参数是原生的字符串列表格式

内容的提问来源于stack exchange，提问作者Aravind Krishnakumar