如何通过SSIS从SQL Server向DB2数据库批量插入数据？

一、按行数动态拆分数据批次 #

条件拆分组件仅支持静态规则拆分，要实现按指定行数动态分组（比如每5000条一批），可以通过以下两种方式实现：

• 行号+脚本组件分组

  1. 在数据流中添加「行号」转换组件，生成从1开始的连续行号（单数据源无需勾选“重置行号”）。
  2. 添加「脚本组件」（作为转换），输入行号字段，新增输出列BatchID。在脚本中计算批次ID：BatchID = (RowNumber - 1) / 5000，每5000条数据会得到同一个批次ID。
  3. 后续可根据BatchID分组处理，或用条件拆分组件按BatchID拆分到不同输出流，实现分批插入。

• 变量控制的动态批次拆分

  1. 在控制流中用执行SQL任务获取总数据量，计算批次数量，将每批的起始/结束行号存入变量。
  2. 用Foreach循环容器遍历每个批次，在数据流的「OLE DB源」查询中，通过变量指定TOP 5000或BETWEEN @StartRow AND @EndRow提取对应批次数据，实现分批加载。

二、向DB2表批量导入的支持方案 #

SSIS完全支持向DB2进行高效批量插入，推荐以下两种高吞吐量方案：

• OLE DB目标快速加载

  1. 使用IBM DB2 OLE DB Provider配置DB2连接管理器。
  2. 在数据流中添加「OLE DB目标」，选择「表或视图 - 快速加载」模式，在“快速加载”选项卡设置批量大小（比如5000），按需勾选“检查约束”“锁定表”等选项。该方式会批量提交数据到DB2，效率远高于逐行插入。

• DB2 LOAD命令批量导入
  这是百万级数据场景下效率最高的方案：

  1. 在SSIS数据流中将SQL Server数据导出到平面文件（如DEL格式），确保字符集与DB2一致。
  2. 在控制流中添加「执行进程任务」，调用db2cmd.exe执行DB2 LOAD命令，示例：

     db2 load from D:\data\export_data.del of del insert into SCHEMA.TARGET_TABLE
     

  3. 加载前可临时禁用DB2表的索引和约束，加载完成后重新启用，进一步提升速度。

内容的提问来源于stack exchange，提问作者Maevrick