Mongo迁移至SQL Server时日期字段数据类型转换异常问题

核心问题分析 #

你的函数确实把pandas列转成了datetime类型，但写入SQL Server时被自动推断为VARCHAR，大概率是自动类型推断失效或者**转换后存在无效值（NaT）**导致的，下面是具体解决步骤：

1. 先确认转换是否真的成功 #

你的函数用了errors='coerce'，转换失败的会变成NaT。如果某列全是NaT，pandas写入时会把它识别为字符串类型。加个检查代码确认：

def to_date(df):
    date_columns = [column for column in df.columns if 'Date' in column or 'date' in column]
    for column in date_columns:
        if df[column].dtype == 'object':
            df[column] = pd.to_datetime(df[column], errors='coerce', dayfirst=True)
            # 打印关键信息排查
            print(f"列[{column}] 转换后类型: {df[column].dtype}, 有效日期数: {df[column].notna().sum()}")
    return df

如果有效日期数为0，说明原始日期字符串格式和dayfirst=True不匹配（比如原始是MM/DD/YYYY却用了dayfirst），需要手动指定格式，比如：

df[column] = pd.to_datetime(df[column], errors='coerce', format='%d/%m/%Y %H:%M:%S')  # 替换成你的实际格式

2. 写入SQL时强制指定字段类型 #

用to_sql时，默认的类型推断不可靠，必须手动指定日期列的SQL类型：

from sqlalchemy import create_engine, DateTime

# 生成日期列的类型映射
date_cols = [col for col in df.columns if 'Date' in col or 'date' in col]
dtype_map = {col: DateTime() for col in date_cols}

# 连接SQL Server并写入
engine = create_engine('mssql+pyodbc://用户名:密码@服务器/数据库?driver=ODBC+Driver+17+for+SQL+Server')
df.to_sql('目标表名', engine, if_exists='replace', index=False, dtype=dtype_map)

这会强制SQL Server把这些列识别为datetime类型，彻底避免推断错误。

3. 处理NaT空值问题 #

SQL Server的datetime类型默认不允许空值，如果转换后有NaT，写入时会触发异常或被转成字符串。解决方法：

# 把NaT替换为SQL支持的NULL
for col in date_cols:
    df[col] = df[col].where(df[col].notna(), None)

同时确保目标表的日期字段设置为datetime NULL（允许空值）。

4. 升级依赖包 #

旧版本的pyodbc或SQLAlchemy对datetime类型的支持有bug，先升级到最新版：

pip install --upgrade pandas pyodbc sqlalchemy

内容的提问来源于stack exchange，提问作者ch aniketh