如何快速将900MB大小的CSV文件数据导入SQL Server？

使用 itertuples 逐行构造插入语句的方式，会产生极高的数据库交互IO开销，天然不适合大体积文件的导入场景。以下是可直接落地的高效方案：

1. 原生命令行工具bcp（导入速度最快） #

适合已经拆分完成的csv/文本类数据源，无需编写业务代码，单命令即可完成导入：

bcp 目标数据库名.所属schema.目标表名 in 本地文件绝对路径 -S 数据库服务器地址 -U 登录账号 -P 登录密码 -c -t ',' -r '\n' -F 2

参数说明：

• -c：使用字符格式存储数据，跳过类型转码开销
• -t：指定字段分隔符，csv文件填逗号即可
• -r：指定行分隔符，一般为换行符
• -F 2：跳过文件第一行表头，无表头可删除该参数
  单G级别的文本文件，通常10分钟内即可完成导入。

2. SSMS 图形化导入向导（零代码门槛） #

适合不熟悉命令行的用户，全程可视化操作：

• 打开SQL Server Management Studio，右键目标数据库，选择「任务」>「导入数据」
• 按向导提示选择数据源类型（平面文件/Excel等）、导入文件路径
• 字段映射完成后，勾选「快速加载」选项，启动导入即可
  工具默认会自动开启批量插入优化，无需手动拆分大文件即可稳定导入。

3. T-SQL BULK INSERT 语句 #

适合文件可上传到SQL Server服务器可读路径的场景，直接在数据库端执行导入：

BULK INSERT 目标表名
FROM '服务器端文件绝对路径'
WITH (
    FIELDTERMINATOR = ',',
    ROWTERMINATOR = '\n',
    FIRSTROW = 2,
    BATCHSIZE = 10000,
    TABLOCK
)

参数说明：

• BATCHSIZE：每1万行提交一次事务，避免事务日志暴涨
• TABLOCK：导入期间锁表，无并发写入需求时开启可大幅提升速度

4. Python 代码批量导入优化 #

如果必须通过Python代码实现导入，不要使用逐行插入逻辑，改用批量提交方案：

import pandas as pd
import pyodbc

# 开启fast_executemany优化批量插入性能
conn = pyodbc.connect(
    'DRIVER={ODBC Driver 17 for SQL Server};SERVER=你的服务器地址;DATABASE=目标库;UID=账号;PWD=密码',
    fast_executemany=True
)

# 大文件分块读取，避免内存溢出
for chunk in pd.read_csv('大文件路径', chunksize=10000):
    chunk.to_sql(
        name='目标表名',
        con=conn,
        if_exists='append',
        index=False
    )
conn.close()

通用优化技巧 #

• 导入前暂时关闭目标表的非聚集索引、触发器，导入完成后再重建，可降低额外计算开销
• 导入期间将数据库恢复模式临时调整为「简单」，导入完成后改回原配置，可大幅减少事务日志生成量
• 单次提交批次控制在1万~10万行区间，平衡内存占用和提交开销

内容的提问来源于stack exchange，提问作者tp_