在SSIS中通过Recordset Destination内存模拟存储过程功能是否可行可取？

可行性结论 #

用Recordset Destination结合脚本组件完全可行，但是否“可取”取决于你的数据量和业务逻辑复杂度：

• 适合场景：数据量较小（几万条以内）、逻辑相对简单的临时表操作
• 不适合场景：大数据量、复杂多表关联/聚合操作（这种情况数据库引擎的优化效率远高于内存操作）

具体实现步骤 #

1. 将源数据加载到内存Recordset #

• 在数据流任务中，用OLE DB Source读取SP中临时表的源数据
• 添加Recordset Destination，将数据存储到包级别的Object类型变量中（比如@rsTempOrder、@rsTempCustomer，对应SP里的各个临时表）

2. 用脚本组件操作内存数据集（更新/插入） #

• 在数据流中添加脚本组件（选择“转换”或“源”类型），将存储Recordset的Object变量导入为只读变量
• 在脚本内部，通过OleDbDataAdapter将Object变量转换为DataTable，示例代码：

  DataTable dtTemp = new DataTable();
  OleDbDataAdapter da = new OleDbDataAdapter();
  da.Fill(dtTemp, Variables.rsTempTable1);
  
  // 执行更新操作：修改特定行
  foreach(DataRow row in dtTemp.Rows)
  {
      if(row["Status"].ToString() == "Pending")
      {
          row["Status"] = "Processed";
      }
  }
  
  // 执行插入操作：新增行
  DataRow newRow = dtTemp.NewRow();
  newRow["ID"] = 999;
  newRow["Name"] = "New Item";
  dtTemp.Rows.Add(newRow);
  

• 如果需要关联多个Recordset，可同时加载多个DataTable，用LINQ或DataTable的Select、Merge方法实现关联逻辑

3. 合并多个内存数据集 #

• 在脚本中，将处理后的多个DataTable按业务逻辑合并为最终数据集：
  • 简单合并用dtFinal.Merge(dtTemp1)
  • 复杂逻辑可通过LINQ筛选、拼接数据，比如：

    var mergedData = from o in dtOrder.AsEnumerable()
                     join c in dtCustomer.AsEnumerable() on o.Field<int>("CustomerID") equals c.Field<int>("ID")
                     select new 
                     {
                         OrderID = o.Field<int>("ID"),
                         CustomerName = c.Field<string>("Name"),
                         Amount = o.Field<decimal>("Amount")
                     };
    

• 若需将合并后的数据输出到下游组件，可在脚本组件中定义输出列，遍历合并后的数据逐条输出

4. 写入最终目标 #

• 将脚本组件输出的数据流连接到OLE DB Destination，直接写入目标表；若需临时存储，也可再次存入Recordset变量，但通常直接落地更稳妥

关键注意事项 #

• 内存限制：Recordset完全驻留内存，数据量过大（比如10万条以上）会导致包内存占用飙升，甚至引发崩溃
• 维护成本：复杂SQL逻辑（如窗口函数、多表聚合）用脚本实现代码量巨大，后续维护难度远高于直接调用SP
• 事务可靠性：内存操作的事务需自行在脚本中实现回滚逻辑，远不如数据库事务可靠
• 替代方案提醒：管理层禁止的是全局临时表（##temp），但**本地临时表（#temp）**是会话级别的，仅当前连接可见，完全符合合规要求，且性能、维护性远优于内存方案——如果你的SP原本用的是本地临时表，其实没必要强行改成内存实现

内容的提问来源于stack exchange，提问作者JM1