如何从Pandas DataFrame向SQL Server插入NULL而非nan？排查异常

这种情况我碰到过好多次，核心问题大多出在缺失值的类型不统一或者读取/插入时的参数设置不到位上，咱们一步步排查解决：

1. 先搞清楚DataFrame里的"缺失值"到底是什么 #

你看到的部分列既有NULL又有"nan"，很大概率是这列里同时存在两种"缺失"：

• 真正的Pandas缺失值（np.nan或pd.NA）：插入SQL时会被自动转成NULL
• 字符串形式的"nan"：Excel里可能是手动输入的、或者读取时没被识别成缺失值，插入时就直接变成了文本"nan"

先验证这个猜想：

# 查看某列的唯一值，确认是否存在"nan"字符串
print(df['problem_column'].unique())
# 统计真正的缺失值数量
print(df['problem_column'].isna().sum())

如果确实存在字符串"nan"，先统一转成真正的缺失值：

# 把所有字符串形式的缺失标记转成np.nan
df.replace({'nan': np.nan, 'NaN': np.nan, 'N/A': np.nan}, inplace=True)
# 空字符串也可以一起转（如果Excel里有空单元格被读成空字符串的话）
df.replace('', np.nan, inplace=True)

2. 读取Excel时就把缺失值识别对 #

很多时候问题出在读取Excel的步骤：Pandas默认会把Excel里的空单元格识别成np.nan，但如果单元格里是手动输入的"nan"文本，它会当成普通字符串处理。

所以读取时直接指定哪些字符串要被识别为缺失值：

import pandas as pd

df = pd.read_excel(
    'your_file.xlsx',
    # 把所有可能表示缺失的字符串都转成np.nan
    na_values=['nan', 'NaN', 'N/A', '', ' ']
)

3. 插入SQL时的正确姿势 #

用to_sql插入时，确保用对连接方式和参数：

• 必须用pyodbc连接SQL Server（SQLAlchemy + pyodbc是Pandas官方推荐的组合，对NULL的处理最靠谱）
• 对于有缺失值的数值列，尽量用Pandas的Nullable类型（比如Int64、Float64，注意首字母大写），避免因dtype不兼容导致缺失值处理异常

完整的插入代码示例：

from sqlalchemy import create_engine

# 构建SQL Server连接字符串（替换成你的信息）
conn_str = 'mssql+pyodbc://用户名:密码@服务器地址/数据库名?driver=ODBC+Driver+17+for+SQL+Server'
engine = create_engine(conn_str)

# 插入数据，if_exists根据需求选'append'（追加）或'replace'（覆盖）
df.to_sql(
    name='你的表名',
    con=engine,
    if_exists='append',
    index=False,  # 不要把Pandas的索引列插入SQL
    method='multi'  # 批量插入，效率更高，也能减少异常
)

4. 为什么会出现同一列既有NULL又有"nan"？ #

本质是该列的数据类型是object（混合了字符串和数值/缺失值），其中：

• 原本的空单元格被读成np.nan → 插入后是NULL
• 手动输入的"nan"字符串没被转换 → 插入后是文本"nan"

只要按照上面的步骤，把所有表示缺失的标记统一转成np.nan，就能解决这种混合情况。

内容的提问来源于stack exchange，提问作者Gyanaranjan Nayak