SQL Server拆分百万级数据插入脚本的配置咨询

SQL Server Management Studio（SSMS）自带的脚本生成工具没有直接针对单表拆分多文件的专属配置，但可以通过以下几种方式实现需求：

1. 利用SSMS高级选项自动拆分文件 #

在生成脚本时，通过调整高级参数实现按文件大小拆分：

• 右键目标数据库 → 任务 → 生成脚本 → 选择需要导出的大表 → 进入「设置脚本编写选项」步骤，点击「高级」按钮
• 在弹出的选项中配置：
  • 将「要编写脚本的数据类型」设为「数据和架构」
  • 找到「脚本文件的最大大小(MB)」，设置合理值（比如50），当生成的脚本文件超过该大小，SSMS会自动拆分为多个文件（如YourTable_1.sql、YourTable_2.sql）
  • 同时可配合设置「每批语句数」（如10000），让每个文件内的INSERT语句按批次分隔，避免执行时内存溢出

2. 使用bcp命令行分批导出 #

bcp是SQL Server官方的批量数据处理工具，可按行范围或业务条件分批导出：

• 按行范围导出示例：

  # 导出第1-100000条数据
  bcp YourDB.dbo.BigTable out "D:\Data\BigTable_Part1.sql" -S YourServerName -T -c -q -w -F 1 -L 100000
  # 导出第100001-200000条数据
  bcp YourDB.dbo.BigTable out "D:\Data\BigTable_Part2.sql" -S YourServerName -T -c -q -w -F 100001 -L 200000
  

  参数说明：-F指定起始行，-L指定结束行，-T使用Windows身份验证，-c以字符格式导出

3. 自定义SQL脚本灵活拆分 #

如果需要按日期、分区键等业务逻辑拆分，可编写SQL脚本配合SQLCMD模式输出到多文件：

• 示例逻辑：按ID分段循环生成INSERT语句并输出到不同文件

  :setvar OutputPath "D:\Data\"
  DECLARE @BatchSize INT = 100000
  DECLARE @StartID INT = 1
  DECLARE @EndID INT = (SELECT MAX(ID) FROM BigTable)
  DECLARE @CurrentBatch INT = 1
  
  WHILE @StartID <= @EndID
  BEGIN
      DECLARE @FileName NVARCHAR(255) = $(OutputPath) + 'BigTable_Part' + CAST(@CurrentBatch AS NVARCHAR) + '.sql'
      DECLARE @SQL NVARCHAR(MAX) = '
          SELECT ''INSERT INTO BigTable (Col1, Col2) VALUES ('' + QUOTENAME(Col1, '''''') + '', '' + QUOTENAME(Col2, '''''') + '')''
          FROM BigTable
          WHERE ID BETWEEN ' + CAST(@StartID AS NVARCHAR) + ' AND ' + CAST(@StartID + @BatchSize - 1 AS NVARCHAR)
      EXEC xp_cmdshell 'sqlcmd -S YourServer -d YourDB -Q "' + @SQL + '" -o "' + @FileName + '" -h-1'
      SET @StartID += @BatchSize
      SET @CurrentBatch += 1
  END
  

  注意：需要启用xp_cmdshell，且执行账号需具备文件写入权限

额外建议 #

• 生产环境加载大量数据时，优先使用BULK INSERT或SSIS包，比逐条INSERT的脚本效率高得多
• 拆分前建议对表添加索引或按拆分键分区，提升分批查询的速度

内容的提问来源于stack exchange，提问作者Enrico