SSIS中基于主表映射动态加载不同Schema多CSV至对应表的方案

核心需求是基于主表的源文件-目标表映射，批量处理不同Schema的文件，避免创建大量重复任务，以下是具体可行的方案：

核心思路 #

借助SSIS的Foreach循环容器结合变量配置，配合脚本任务动态调整数据源与目标表的连接及映射规则，高效处理多组文件-表的加载需求。

具体实现步骤 #

1. 读取映射关系并遍历 #

• 添加执行SQL任务，从你的主表中读取所有Source和Destination记录，将结果集存储到一个对象类型变量（例如obj_MappingList）。
• 添加Foreach循环容器，设置枚举器为Foreach ADO枚举器，关联上述对象变量，将每一行的Source和Destination分别映射到两个字符串变量（例如var_SourceFile、var_TargetTable）。

2. 动态配置Flat File数据源 #

在Foreach循环内添加脚本任务，通过代码修改Flat File连接管理器的参数：

// 获取指定的Flat File连接管理器
ConnectionManager flatFileCM = Dts.Connections["Flat File Connection Manager"];
// 设置源文件路径
flatFileCM.ConnectionString = Dts.Variables["var_SourceFile"].Value.ToString();
// 开启首行作为列名并刷新Schema
flatFileCM.Properties["ColumnNamesInFirstDataRow"].SetValue(flatFileCM, true);
flatFileCM.AcquireConnection(null);

注意：需确保CSV文件的列名与对应目标表的列名严格匹配，若有差异需额外添加列映射逻辑。

3. 动态配置OLE DB目标表 #

• 选中OLE DB目标组件，打开表达式编辑器，为TableName属性设置表达式：@[User::var_TargetTable]，实现目标表的动态切换。
• 若列映射需动态适配，可添加脚本组件作为转换，通过查询INFORMATION_SCHEMA.COLUMNS获取目标表的元数据，在脚本中完成源列与目标列的匹配映射。

4. Schema差异的补充处理 #

• 若部分文件与目标表列名不匹配，可在主表新增ColumnMapping字段，存储列映射规则（例如SourceCol1:TargetCol1,SourceCol2:TargetCol2），在脚本任务中解析规则并调整列映射。
• 若目标表不存在，可在Foreach循环内先执行SQL任务，通过脚本读取CSV列信息，拼接CREATE TABLE语句自动建表。

简化工作量的关键技巧 #

• 复用连接管理器：所有文件共用一个Flat File连接管理器，通过脚本动态修改路径和Schema。
• 全变量驱动配置：所有动态参数均通过变量表达式或脚本设置，避免手动修改任务属性。
• 错误隔离处理：在Foreach循环内添加错误捕获流程，记录失败的文件及原因，防止单个文件失败中断整个批量任务。

内容的提问来源于stack exchange，提问作者sai bharath