Airflow中PostgresOperator无法用Jinja模板渲染SQL脚本文件名

问题根源 #

PostgresOperator的sql参数处理逻辑特殊：当参数值以.sql结尾时，Airflow会优先把它当作文件路径直接读取，跳过Jinja模板渲染流程。而不带.sql后缀时，Airflow会先完成模板渲染再处理内容，这就是你遇到差异的原因。

两种可行解决方案 #

方案1：用Jinja字符串拼接强制渲染文件名

修改sql参数的写法，通过Jinja的字符串拼接语法生成文件名，确保Airflow先完成模板渲染，再识别为文件路径：

write_to_postgres = PostgresOperator(
    task_id="write_to_postgres",
    postgres_conn_id="mypostgres",
    sql="{{ 'queries' ~ execution_date.hour|string ~ execution_date.day|string ~ '.sql' }}"
)

注：~是Jinja的字符串拼接运算符，|string过滤器用于将数值类型的小时/日转为字符串，避免拼接时出现类型错误。

方案2：使用Jinja的include函数读取文件

如果你的SQL文件存放在Airflow的模板搜索路径内（默认是DAG所在目录或其子目录templates），可以用include函数先渲染文件名，再读取对应SQL文件的内容：

write_to_postgres = PostgresOperator(
    task_id="write_to_postgres",
    postgres_conn_id="mypostgres",
    sql="{{ include('queries' ~ execution_date.hour ~ execution_date.day ~ '.sql') }}"
)

这种方式更贴合Airflow模板的设计规范，同时保证文件名先渲染再读取。

验证说明 #

上述两种方法都会让Airflow先执行Jinja模板渲染，生成如queries125.sql这类正确的文件名，再去对应路径读取SQL文件，彻底解决原写法中模板被跳过的问题。

内容的提问来源于stack exchange，提问作者Kamesh Kotwani