SSIS中如何通过SQL Server存储的ID列表查询生产Oracle表数据

该方案完全匹配你所有限制条件，无需Oracle写入权限、不会生成全量大临时表，且复用你验证过的1000个ID批量查询的最优性能。

实现步骤（原生SSIS组件版，无需自定义代码） #

• 第一步：SQL Server侧生成分组的ID列表
  新增「执行SQL任务」，连接到存ID的SQL Server库，执行以下查询，将结果保存到SSIS的Object类型变量User::AllIDsWithGroup中：

  SELECT 
    DISTINCT id,
    -- 按1000个ID一组分配分组编号
    (ROW_NUMBER() OVER(ORDER BY id) - 1) / 1000 AS group_id
  FROM SQL_SERVER_table
  

• 第二步：遍历分组生成过滤条件
  新增「Foreach循环容器」，枚举器选择「Foreach ADO 枚举器」，源变量选User::AllIDsWithGroup，枚举模式选「行中的第一个表」。再增加一个「执行SQL任务」放在循环内，每次循环按当前分组取1000个ID，拼接为IN子句字符串，存入字符串变量User::CurrentIDFilter：

  -- 按当前循环的group_id拼接IN列表，ID为数值型可去掉单引号
  SELECT '''' + STRING_AGG(CAST(id AS VARCHAR(100)), ''',''') + '''' AS id_filter
  FROM (
    SELECT DISTINCT id, (ROW_NUMBER() OVER(ORDER BY id) - 1) / 1000 AS group_id
    FROM SQL_SERVER_table
  ) t
  WHERE group_id = ? -- 映射为当前循环的分组编号变量
  

• 第三步：动态生成Oracle查询并拉取数据
  在Foreach循环内新增「数据流任务」，Oracle数据源的查询语句用表达式动态生成，拼接你的复杂查询逻辑和当前批次的过滤条件：

  "SELECT /* 你的多表关联复杂查询逻辑 */ FROM Oracle_table(s) WHERE id IN (" + @[User::CurrentIDFilter] + ")"
  

  直接将Oracle数据源的输出连接到你的目标组件（SQL Server表、文件等）即可，每次循环只拉取当前1000个ID对应的结果，无大体积中间数据。

优化建议 #

• 将Oracle连接管理器的RetainSameConnection属性设为True，避免每次循环重复建立连接，大幅提升执行效率。
• 若最终结果需要去重，可在目标表建立ID对应的唯一约束，或所有批次执行完成后统一做一次去重处理。

该方案完全满足所有限制：所有查询逻辑在Oracle侧执行且每次都带ID过滤、不会拉取全量数据、无需Oracle写入权限、批量大小匹配你验证过的最优性能，16万ID仅需执行160次查询即可完成。

内容的提问来源于stack exchange，提问作者ColinMac