使用TeradataSQL Python模块批量上传含NaN/NaT值到Teradata的报错问题

核心问题根源：TeradataSQL模块默认会将pandas的NaN识别为float类型，无法和目标表的Decimal、Varchar类型匹配，才会触发数值溢出、行参数类型不一致的报错。你不需要对空值做业务填充，只要调整类型适配逻辑即可保留NULL插入。 #

方案1：将NaN统一替换为Python原生None #

原理：TeradataSQL模块原生支持将Python的None识别为SQL NULL，不会触发类型推断错误
操作步骤：

• 不要使用fillna填充，直接用以下代码全表替换NaN为None：

import pandas as pd
df = df.where(pd.notnull(df), None)

• 替换完成后直接执行原有插入逻辑即可：数值列的None会被识别为Decimal类型的NULL，字符串列的None会被识别为VARCHAR类型的NULL，不会触发原有两类报错。
  注意：如果存在全列都是空值的字段，提前将该列的dtype指定为object，避免pandas默认推断为float类型导致类型不匹配。

方案2：插入时显式指定参数类型（适合列数较少的场景） #

原理：跳过TeradataSQL模块的自动类型推断步骤，强制将插入参数转为目标列类型，避免不同行的空值引发类型波动
操作示例：

import teradata
# 初始化连接
udaExec = teradata.UdaExec(appName="data_load", version="1.0", logConsole=False)
session = udaExec.connect(method="odbc", system="Teradata实例地址", username="账号", password="密码")
# 插入SQL中用CAST指定每个参数的目标类型
insert_sql = """
INSERT INTO 你的目标表名 (decimal_col, varchar_col)
VALUES (CAST(? AS DECIMAL(15,4)), CAST(? AS VARCHAR(255)))
"""
# 批量插入
session.executemany(insert_sql, df.values.tolist(), batchSize=1000)

方案3：使用pandas to_sql配合SQLAlchemy Teradata驱动（推荐长期使用） #

原理：SQLAlchemy的Teradata方言已经内置了NaN到SQL NULL的适配逻辑，不需要手动处理空值类型
操作步骤：

1. 安装对应驱动：pip install sqlalchemy-teradata
2. 直接用to_sql上传，指定dtype即可：

from sqlalchemy import create_engine
from sqlalchemy.dialects import teradata
# 初始化连接
engine = create_engine('teradata://账号:密码@Teradata实例地址/?driver=Teradata Database ODBC Driver 16.20')
# 上传数据
df.to_sql(
    name='目标表名',
    con=engine,
    if_exists='append',
    index=False,
    dtype={
        'decimal_col': teradata.DECIMAL(15,4),
        'varchar_col': teradata.VARCHAR(255)
    }
)

注意事项 #

• 批量插入的batchSize建议控制在1000-10000之间，避免批次过大引发类型推断异常
• 所有允许为空的列，提前确认Teradata表中已经设置为nullable，否则就算传入NULL也会触发非空约束报错
• 若存在全列空值的字段，不要让pandas自动推断数据类型，手动指定为目标类型对应的dtype即可

内容的提问来源于stack exchange，提问作者chulo