Airflow循环生成Operator时模板变量解析异常的解决方法问询

这个问题我之前也碰到过，核心原因是Python字符串格式化和Airflow的Jinja2模板语法冲突了：当你用str.format()处理包含{{ ... }}的字符串时，Python会把双大括号解析为转义后的单大括号，导致Airflow无法识别Jinja2模板表达式。

问题根源 #

你原来的代码中：

bash_command = "echo {{ ti.xcom_pull(task_ids='operator1_{}', key='file_name') }}".format(table)

Python的format()会把{{转成{，}}转成}，最终生成的命令变成了echo { ti.xcom_pull(...) }——少了一层大括号，Jinja2自然无法解析。

解决方案：保留Jinja2的双大括号 #

要让Airflow正确解析模板，需要让最终生成的bash_command保留{{ ... }}结构，有两种常用方法：

方法1：使用四重大括号转义

在Python字符串中写四个大括号，经过format()处理后会变成两个大括号，刚好符合Jinja2的要求：

for table in ['messages', 'conversations']:
    # 初始化Operator1（示例，替换为你实际使用的Operator）
    operator1 = YourTargetOperator(
        task_id=f'operator1_{table}',
        # 其他必要参数
    )
    # 初始化Operator2，用四重大括号保留Jinja2模板
    operator2 = BashOperator(
        task_id=f'operator2_{table}',
        bash_command="echo {{{{ ti.xcom_pull(task_ids='operator1_{}', key='file_name') }}}}".format(table)
    )
    operator1 >> operator2

方法2：使用f-string（Python 3.6+）

如果用f-string，同样需要写四重大括号来转义：

operator2 = BashOperator(
    task_id=f'operator2_{table}',
    bash_command=f"echo {{{{ ti.xcom_pull(task_ids='operator1_{table}', key='file_name') }}}}"
)

验证效果 #

这样生成的bash_command在Airflow UI中会被正确渲染为：

echo {{ ti.xcom_pull(task_ids='operator1_messages', key='file_name') }}
echo {{ ti.xcom_pull(task_ids='operator1_conversations', key='file_name') }}

Airflow就能正常解析Jinja2模板，从XCom中拉取对应的值了。

内容的提问来源于stack exchange，提问作者Pierre