能否通过Dataframe而非CSV文件执行BULK INSERT操作？

首先明确：无法直接用DataFrame执行SQL Server原生的BULK INSERT语句——因为BULK INSERT是专门针对文件系统中的文件设计的导入命令。但可以用pandas或SQLAlchemy提供的高效批量插入方法，直接从DataFrame写入数据库，性能接近BULK INSERT，还能省去生成中间CSV文件的步骤。

以下是两种常用的实现方式：

方法1：pandas to_sql 配合 fast_executemany（SQL Server专属优化） #

这是最简便的方式，利用pandas内置的数据库写入能力，配合SQLAlchemy的SQL Server优化参数，实现高效批量插入：

import pandas as pd

# 假设你已经有目标DataFrame `df` 和SQLAlchemy引擎 `engine`
df.to_sql(
    name=tbl_name,
    con=engine,
    if_exists='append',  # 根据需求选择：append(追加)/replace(覆盖)/fail(存在则报错)
    index=False,  # 不要把DataFrame的索引写入数据库
    chunksize=10000,  # 分块插入，根据内存大小调整
    fast_executemany=True  # 开启后大幅提升SQL Server批量插入速度
)

方法2：SQLAlchemy bulk_insert_mappings #

适合需要更底层控制的场景，先将DataFrame转为字典列表，再执行批量插入：

from sqlalchemy import MetaData, Table

# 加载目标表的元数据
metadata = MetaData()
target_table = Table(tbl_name, metadata, autoload_with=engine)

# 将DataFrame转为字典列表（每条记录对应一个字典）
data_records = df.to_dict('records')

# 执行批量插入
with engine.begin() as conn:
    conn.execute(target_table.insert(), data_records)

注意事项 #

• 确保DataFrame的列名与数据库表的列名完全匹配；如果列名不一致，可通过to_sql的columns参数指定映射关系
• chunksize的大小需根据内存容量和数据库性能调整，过大可能导致内存溢出，过小会增加网络请求次数
• 执行前确认if_exists参数的设置，避免误操作导致数据丢失

内容的提问来源于stack exchange，提问作者userr