Airflow通过pyodbc连接SQL Server时，如何将内部查询字符串参数设为varchar

背景 #

我们使用Airflow 2.4.3，元数据库为SQL Server，当前数据库连接配置如下：

[database]
sql_alchemy_conn = mssql+pyodbc://{{ database.user }}:{{ airflow_db_password }}@{{ database.server }}:{{ database.port }}/{{ database.name }}?driver=ODBC+Driver+17+for+SQL+Server
load_default_connections = False

Airflow内部更新查询（如任务状态更新）会默认以nvarchar类型传递字符串参数，但元数据表对应列类型为varchar且带有唯一索引，这会导致查询触发全表扫描，进而引发死锁问题。示例内部查询如下：

declare @p1 int
set @p1=2603
exec sp_prepexec @p1 output,N'@P1 nvarchar(18),@P2 nvarchar(40),@P3 nvarchar(72),@P4 nvarchar(60),@P5 int',N'UPDATE task_instance SET state=@P1 WHERE task_instance.dag_id = @P2 AND task_instance.run_id = @P3 AND task_instance.task_id = @P4 AND task_instance.map_index = @P5',N'scheduled',N'lead_value_score_1_1',N'scheduled__2022-12-10T09:12:00+00:00',N'predict_funding_scores_instant',-1

解决方案 #

在连接字符串中添加ODBC参数SendStringParametersAsUnicode=no，即可让pyodbc默认以varchar类型传递字符串参数，对应JDBC中setSendStringParametersAsUnicode(false)的效果。

修改后的连接字符串 #

[database]
sql_alchemy_conn = mssql+pyodbc://{{ database.user }}:{{ airflow_db_password }}@{{ database.server }}:{{ database.port }}/{{ database.name }}?driver=ODBC+Driver+17+for+SQL+Server&SendStringParametersAsUnicode=no
load_default_connections = False

验证与注意事项 #

• 修改配置后，需重启Airflow的webserver、scheduler及所有worker组件，确保新连接参数生效。
• ODBC Driver 17 for SQL Server原生支持SendStringParametersAsUnicode参数，无需额外驱动配置。
• 参数生效后，Airflow内部生成的查询参数会从nvarchar转为varchar，可命中目标列的唯一索引，避免表扫描和死锁问题。

内容的提问来源于stack exchange，提问作者Saugat Mukherjee