指定dtype时pd.read_sql_query将数据库NULL转为字符串'None'的问题排查

问题场景 #

我在Microsoft SQL Server中有一个字符串类型列COLUMN_A，数据如下：

COLUMN_A
NULL
NULL
NULL
STRING_VALUE1
STRING_VALUE2
NULL
...

使用以下代码查询：

pd.read_sql_query('SELECT COLUMN_A FROM TABLE', con=conn, dtype={'COLUMN_A':str})

得到的DataFrame中，原本的NULL值变成了字符串'None'，而非Python原生的None：

COLUMN_A
'None'
'None'
'None'
'STRING_VALUE1'
'STRING_VALUE2'
'None'

使用的版本信息：

• sqlalchemy=1.4.44
• pyodbc=4.0.35
• pandas=1.5.2
• Microsoft SQL Server

想问这是read_sql_query的用法问题、bug，还是sqlalchemy的问题？按预期数据库NULL应该映射为Python的None才对。

原因分析 #

这不是bug，是你显式指定dtype={'COLUMN_A':str}导致的预期行为：当pandas被要求强制将列类型设为字符串时，会把数据库驱动返回的Python原生None（对应SQL的NULL）转换为字符串'None'，以匹配你指定的类型约束。

解决方法 #

1. 移除dtype参数：如果不需要强制指定列类型，直接执行查询，SQL Server的NULL会被自动映射为Python的None：

pd.read_sql_query('SELECT COLUMN_A FROM TABLE', con=conn)

2. 指定dtype后手动转换：若必须指定字符串类型，读取后将字符串'None'替换为Python的None：

df = pd.read_sql_query('SELECT COLUMN_A FROM TABLE', con=conn, dtype={'COLUMN_A':str})
df['COLUMN_A'] = df['COLUMN_A'].replace('None', None)

3. 先读取再转类型：不指定dtype读取数据后，再转换列类型，此时原NULL值会保留为None（注意：Python的None会被转为字符串'nan'，需根据需求判断是否适用）：

df = pd.read_sql_query('SELECT COLUMN_A FROM TABLE', con=conn)
df['COLUMN_A'] = df['COLUMN_A'].astype(str)

补充说明 #

SQLAlchemy搭配pyodbc驱动时，会先将SQL Server的NULL转换为Python的None，但pandas的dtype参数会强制统一列内所有值的类型，空值None在字符串类型约束下就被转换为了'None'字符串——这是pandas的设计逻辑，并非SQLAlchemy或pyodbc的问题。

内容的提问来源于stack exchange，提问作者ajoseps