Airflow中从XCom向PapermillOperator推送字典类型参数的问题求助

你遇到的核心问题是：Airflow默认会把模板渲染后的结果作为字符串传递，而非原生Python对象，导致原本的字典被转换成了字符串形式。下面是两种可行的解决方法：

方法1：启用原生对象模板渲染（推荐） #

Airflow的Operator有一个render_template_as_native_obj参数，设置为True后，模板渲染的结果会被自动解析为对应的Python原生类型（比如字典、列表），而不是字符串。只需要修改你的PapermillOperator定义，添加这个参数即可：

send_to_jupyter_operator = PapermillOperator(
    task_id='send_to_jupyter',
    input_nb="./dags/notebooks/input_test.ipynb",
    output_nb="./dags/notebooks/{{ execution_date }}-result.ipynb",
    parameters={"table_list": "{{ ti.xcom_pull(dag_id='select_data_from_table',task_ids='select_data', key='table_result_dict') }}"},
    render_template_as_native_obj=True  # 新增这个参数
)

这样设置后，Airflow会把ti.xcom_pull获取到的字典直接渲染为Python字典对象，传递给Papermill，你的Jupyter Notebook里就能直接拿到字典类型的table_list了。

方法2：在Notebook中手动解析字符串为字典 #

如果因为某些原因无法启用原生渲染，也可以在Notebook里把接收到的字符串转换为字典。推荐使用ast.literal_eval()（比eval()更安全，不会执行恶意代码）：

import ast

# 把字符串形式的字典转换为原生字典对象
table_list = ast.literal_eval(table_list)

不过这种方法属于事后补救，不如方法1优雅，优先推荐使用方法1。

为什么之前的写法会报错？ #

你尝试的两种写法本质上混淆了Python代码逻辑和Airflow模板语法：

• 第一种写法parameters={"table_list": {{ ti.xcom_pull(...) }} }：直接在Python代码里写Jinja2模板语法{{ ... }}，Python解释器会把{{当成无效语法，自然报错。
• 第二种写法parameters={"table_list": {{ context['ti'].xcom_pull(...) }} }：context是Airflow在模板渲染阶段才会注入的变量，直接写在Python代码里时，这个变量还不存在，所以会报错。

所有模板语法都必须放在字符串引号内，由Airflow的Jinja2引擎在运行时解析，而不是直接作为Python代码执行。

内容的提问来源于stack exchange，提问作者VorobevNikita