Airflow传递执行日期至Postgres Operator时Redshift取值为空的解决问询

我来帮你拆解下这个问题——你遇到的空值问题本质是混淆了Airflow的Jinja模板变量传递和PostgreSQL（Redshift）的参数绑定机制，导致SQL里的模板变量找不到对应的值。

问题根源 #

你当前的代码做了两件事：

1. 把parameters加入自定义Operator的template_fields，让Airflow渲染这个字典，将{{ ds }}替换成实际执行日期
2. 在SQL里用{{ crunch_date }}尝试引用这个参数

但这里的核心矛盾是：SQL里的{{ crunch_date }}是Jinja模板语法，它会从Airflow的模板上下文（比如DAG的全局变量、params参数、内置macros）里查找变量，而不是从parameters字典里取——parameters是给psycopg2（Redshift的Python驱动）用的参数绑定占位符，和Jinja模板不是一个体系，所以Jinja找不到crunch_date变量，就返回空值。

两种解决方案 #

根据你的需求，有两种正确的实现方式：

方案1：用Airflow的params传递Jinja模板变量（适合直接渲染SQL）

如果你想继续用Jinja模板直接替换SQL里的内容，应该用Airflow Operator的params参数（而非parameters），它专门用于给Jinja模板提供自定义变量：

# 不需要修改自定义Operator的template_fields，除非你还要渲染其他字段
class MyPostgresOperator(PostgresOperator):
    template_fields = ('sql',)  # parameters不需要在这里，我们用params传递模板变量

task = MyPostgresOperator(
    task_id='test_date',
    postgres_conn_id='redshift',
    sql="test_file.sql",
    params={'crunch_date': '{{ ds }}'},  # 用params传递模板变量
    dag=dag
)

对应的SQL文件test_file.sql保持不变：

select {{ crunch_date }} as test1

这样Airflow会自动把params里的crunch_date变量注入模板上下文，SQL渲染后就会替换成实际的执行日期。

方案2：用parameters做数据库参数绑定（更安全，防止SQL注入）

如果想遵循数据库参数绑定的最佳实践（避免SQL注入风险），需要修改SQL为参数占位符格式，同时保持parameters的模板渲染：

首先修改自定义Operator（保持parameters在template_fields里）：

class MyPostgresOperator(PostgresOperator):
    template_fields = ('sql','parameters')

然后修改SQL文件test_file.sql，使用psycopg2支持的命名占位符：

select %(crunch_date)s as test1

最后Operator调用保持你原来的写法即可：

task = MyPostgresOperator(
    task_id='test_date',
    postgres_conn_id='redshift',
    sql="test_file.sql",
    parameters={'crunch_date':'{{ ds }}'},
    dag=dag
)

此时Airflow会先渲染parameters字典，把{{ ds }}替换成实际日期，再由psycopg2将这个值安全地绑定到SQL的占位符上，不会出现空值问题。

额外提示 #

• 如果你只是想直接用执行日期，其实可以简化：SQL里直接写select {{ ds }} as test1，不需要额外传递任何参数，因为ds是Airflow内置的模板变量，默认就在上下文里。
• Redshift基于PostgreSQL，所以psycopg2的参数绑定语法完全适用，不用担心兼容性问题。

内容的提问来源于stack exchange，提问作者Saurav Ganguli