如何捕获无法插入SQL Server的DataFrame行并继续插入其余数据

核心思路 #

逐行遍历DataFrame，对每行数据执行INSERT操作，通过异常捕获机制拦截插入错误，记录失败的文件名，跳过错误行后继续执行后续插入逻辑。

实现代码 #

以pyodbc连接SQL Server为例，代码如下：

import pyodbc
import pandas as pd

# 建立SQL Server连接
conn = pyodbc.connect(
    'DRIVER={ODBC Driver 17 for SQL Server};'
    'SERVER=你的服务器地址;'
    'DATABASE=你的数据库名;'
    'UID=用户名;'
    'PWD=密码;'
)
cursor = conn.cursor()

# 自动生成INSERT语句（适配800+列，无需手动编写）
columns = ', '.join(df.columns)
placeholders = ', '.join(['?' for _ in df.columns])
insert_sql = f"INSERT INTO 目标表名 ({columns}) VALUES ({placeholders})"

error_file_list = []

# 逐行插入并捕获错误
for idx, row in df.iterrows():
    try:
        row_data = tuple(row)
        cursor.execute(insert_sql, row_data)
        conn.commit()
    except Exception as e:
        conn.rollback()
        # 记录出错的文件名（假设列名为'Filename'）
        error_file_list.append(row['Filename'])
        # 可选：打印错误详情，辅助排查
        print(f"文件 {row['Filename']} 插入失败: {str(e)}")

# 关闭数据库连接
cursor.close()
conn.close()

# 输出失败文件列表
print("插入失败的文件:", error_file_list)

优化建议 #

• 错误定位辅助：在异常捕获块中添加行索引和部分数据预览，比如print(f"出错行索引: {idx}, 数据预览: {row[:5]}")，方便定位具体错误列
• 效率优化：若逐行插入速度过慢，可拆分为小批量（如10行一批）插入，出错时再在批次内逐行排查，平衡效率与容错性
• 预处理校验：提前对DataFrame数据做校验，比如匹配SQL表字段的长度、数值范围，从源头减少插入错误

内容的提问来源于stack exchange，提问作者Meghna Panda