Pandas使用to_sql写入Azure SQL出现TDS RPC协议流错误如何解决

问题背景 #

在Azure Databricks环境中，使用Pandas的to_sql函数配合SQLAlchemy引擎，将DataFrame filtered_df写入Azure SQL数据库，使用的代码如下：

engine = sqlalchemy.create_engine("mssql+pyodbc:///?odbc_connect={}".format(urllib.parse.quote_plus("DRIVER=ODBC Driver 17 for SQL Server;SERVER={0};PORT=1433;DATABASE={1};UID={2};PWD={3};TDS_Version=8.0;".format(jdbcHostname, jdbcDatabase, jdbcUsername, jdbcPassword))))
filtered_df.to_sql("[myschema].[my_table]", con=engine, index=False, if_exists="append", schema='myschema')

执行代码后触发如下报错：

(pyodbc.ProgrammingError) ('42000', '[42000] [Microsoft][ODBC Driver 17 for SQL Server][SQL Server]The incoming tabular data stream (TDS) remote procedure call (RPC) protocol stream is incorrect. Parameter 7 ("": The supplied value is not a valid instance of data type float. Check the source data for invalid values. An example of an invalid value is data of numeric type with scale greater than precision. (8023) (SQLExecDirectW)')

前期排查 #

已确认DataFrame的结构与目标SQL表结构完全一致，报错中提到的*Parameter 7 ("")*对应的字段也不存在空字符串值，无法定位异常根源。

问题定位与解决方案 #

经排查确认，问题根源为DataFrame中存在inf（无限值），这类值不属于SQL支持的合法浮点型数据，因此触发写入报错。

快速检测DataFrame中异常值的方法 #

• 检测全表是否存在inf或-inf值：

import numpy as np
has_inf = np.isinf(filtered_df).any().any()

• 定位包含inf值的具体列：

inf_columns = filtered_df.columns[np.isinf(filtered_df).any()].tolist()

• 定位包含inf值的具体行：

inf_rows = filtered_df[np.isinf(filtered_df).any(axis=1)]

常见处理方案 #

• 将inf值替换为NULL、0或者其他业务允许的默认值：

# 替换inf/-inf为NaN，后续写入SQL时会自动转为NULL
filtered_df = filtered_df.replace([np.inf, -np.inf], np.nan)

• 根据业务逻辑过滤掉包含inf值的行：

filtered_df = filtered_df[~np.isinf(filtered_df).any(axis=1)]

内容的提问来源于stack exchange，提问作者Cornel Verster