如何在pandas中无需手动列全字段将DataFrame插入SQL Server

你之前的报错是因为写的INSERT INTO dbo.Staging select row语句会将row识别为SQL的列名，SQL无法读取Python环境中的row变量，自然会报列名不存在、列数不匹配的错误。

不用手动写列名的核心实现逻辑是从DataFrame中动态读取列名、生成对应数量的参数占位符，完全不需要手动逐个枚举列，适配任意列数的表，且仅依赖pyodbc和pandas，不需要引入sqlalchemy：

import pyodbc
import pandas as pd

server = 'server' 
database = 'db'  
cnxn = pyodbc.connect('DRIVER={SQL Server};SERVER='+server+';DATABASE='+database)
cursor = cnxn.cursor()

# 替换为你的目标表名
table_name = "dbo.Staging"
# 从df动态获取列名，拼接为SQL要求的格式
columns = ', '.join(df.columns.tolist())
# 生成和列数一致的参数占位符?
placeholders = ', '.join(['?'] * len(df.columns))
# 拼接最终插入语句
insert_sql = f"INSERT INTO {table_name} ({columns}) VALUES ({placeholders})"

# 把df转为值的元组列表，用于批量插入
data = [tuple(x) for x in df.to_numpy()]

# 批量执行插入，比逐行iterrows性能高几十倍
cursor.executemany(insert_sql, data)
cnxn.commit()
cursor.close()
cnxn.close()

注意事项 #

• 必须保证DataFrame的列顺序、列名、数据类型和SQL Server目标表完全匹配，如果SQL表有自增主键、默认值列不需要插入，提前用df = df.drop(columns=['不需要的列名'])删掉对应列即可
• 如果确定SQL表的列顺序和df的列顺序100%一致，也可以省略列名的拼接，SQL语句直接写insert_sql = f"INSERT INTO {table_name} VALUES ({placeholders})"，但不推荐这种写法，后续表结构变动很容易出问题

小数据量逐行插入写法 #

如果你的数据量很小，必须用逐行插入的逻辑，也可以按下面的方式实现：

for index, row in df.iterrows():
    cursor.execute(insert_sql, tuple(row))

内容的提问来源于stack exchange，提问作者unicorn