Pandas to_sql写入SQL Server时每条数据重复3次的问题求助

问题确认 #

你提到用to_sql结合SQLAlchemy将250行的DataFrame写入SQL Server的PERFORM.PERF_TELEMETRY_REPORT_KPI_HD表，结果每条数据重复3次，总行数变成750行，而且原DataFrame的REPORT_ID是唯一的。这大概率是写入环节的问题，咱们一步步排查：

第一步：先确认源DataFrame本身无重复 #

虽然你说REPORT_ID是唯一的，但先排除DataFrame本身有重复的可能——有时候数据生成/处理时（比如concat、merge操作）会不小心引入重复行。

用下面的代码检查：

# 统计重复的REPORT_ID数量
duplicate_report_ids = push_report.duplicated(subset='REPORT_ID').sum()
print(f"DataFrame中重复的REPORT_ID行数: {duplicate_report_ids}")

如果输出大于0，说明DataFrame本身就有重复，先清理：

push_report = push_report.drop_duplicates(subset='REPORT_ID', keep='first')

第二步：排查method='multi'和chunksize的问题 #

method='multi'会生成单条INSERT语句插入多行数据，这个模式在SQL Server下偶尔会出现提交异常（比如驱动兼容性问题），或者chunksize设置过小导致同一批数据被重复提交。

尝试两种修改方式：

1. 去掉method='multi'，用默认的单条插入模式：

push_report.to_sql(
    'PERF_TELEMETRY_REPORT_KPI_HD', 
    dest_engine, 
    schema='PERFORM', 
    if_exists='append', 
    index=False, 
    chunksize=tsql_chunksize
)

2. 调整chunksize为更大的值（比如1000），减少批量提交的次数：

push_report.to_sql(
    'PERF_TELEMETRY_REPORT_KPI_HD', 
    dest_engine, 
    schema='PERFORM', 
    if_exists='append', 
    index=False, 
    chunksize=1000, 
    method='multi'
)

第三步：检查目标表的触发器 #

这是很容易被忽略的点：如果目标表存在INSERT触发器，触发器的逻辑可能会额外插入相同的数据。

登录SQL Server，执行以下SQL查看目标表的触发器：

SELECT name 
FROM sys.triggers 
WHERE parent_id = OBJECT_ID('PERFORM.PERF_TELEMETRY_REPORT_KPI_HD')

如果有触发器，查看其逻辑是否在INSERT时重复插入了原数据。如果是，可以暂时禁用触发器后再写入，或者修改触发器逻辑。

第四步：排查代码重复执行或引擎配置问题 #

• 检查你的代码是否不小心重复调用了to_sql方法（比如在循环里执行了三次）；
• 确认SQLAlchemy引擎的配置没有异常，比如是否开启了自动提交的重复触发：

  from sqlalchemy import create_engine
  # 确保引擎配置是常规的，没有特殊的重复提交设置
  dest_engine = create_engine('mssql+pyodbc://{user}:{password}@{server}/{database}?driver=ODBC+Driver+17+for+SQL+Server')
  

总结 #

建议按照「DataFrame检查 → 写入参数调整 → 触发器排查 → 代码/引擎配置」的顺序逐步验证，最常见的原因是method='multi'的兼容性问题或者触发器的额外插入。

内容的提问来源于stack exchange，提问作者michael katsilieris