基于C#实现SSIS动态暂存：不同列序文件加载至统一表求助

核心逻辑 #

针对表头相同但列顺序不同的文本文件，核心是动态读取文件表头，匹配目标数据库表的字段顺序，再按对应关系加载数据。

1. 前置准备 #

• 确认目标数据库表已创建，字段与文件表头完全一致（示例中为Date, FirstName, LastName, Pincode, State）
• 整理待加载文件的存储路径，后续用循环容器批量处理

2. 动态获取表头与映射关系 #

2.1 读取文件表头

用脚本任务读取当前文件的第一行表头，拆分后存入SSIS变量：

string filePath = Dts.Variables["User::CurrentFilePath"].Value.ToString();
string headerLine = File.ReadLines(filePath).First();
string[] fileColumns = headerLine.Split(new[] {'\t'}, StringSplitOptions.RemoveEmptyEntries);
Dts.Variables["User::FileColumns"].Value = fileColumns;

• 变量User::CurrentFilePath存储当前遍历到的文件路径
• 变量User::FileColumns为Object类型，存储文件表头数组

2.2 获取目标表字段顺序

执行SQL任务查询目标表的字段顺序，结果存入变量User::TargetColumns：

SELECT COLUMN_NAME 
FROM INFORMATION_SCHEMA.COLUMNS 
WHERE TABLE_NAME = 'YourTargetTable' 
ORDER BY ORDINAL_POSITION;

2.3 生成列映射关系

用脚本任务对比两个变量的内容，生成「目标字段→文件列索引」的映射字典：

string[] targetCols = (string[])Dts.Variables["User::TargetColumns"].Value;
string[] fileCols = (string[])Dts.Variables["User::FileColumns"].Value;
Dictionary<string, int> colMap = new Dictionary<string, int>();

foreach (string targetCol in targetCols)
{
    int index = Array.IndexOf(fileCols, targetCol);
    colMap.Add(targetCol, index);
}

Dts.Variables["User::ColumnMappings"].Value = colMap;

• 变量User::ColumnMappings为Object类型，存储映射字典

3. 动态加载数据到目标表 #

使用脚本组件作为数据源，按映射关系读取并输出数据：

1. 在数据流任务中添加脚本组件（数据源），关联CurrentFilePath、ColumnMappings等变量
2. 定义脚本组件的输出列，与目标表字段完全一致
3. 在脚本中实现数据读取与映射：

public override void CreateNewOutputRows()
{
    string filePath = Variables.CurrentFilePath;
    Dictionary<string, int> colMap = (Dictionary<string, int>)Variables.ColumnMappings;
    
    foreach (string line in File.ReadLines(filePath).Skip(1)) // 跳过表头行
    {
        string[] fileValues = line.Split(new[] {'\t'}, StringSplitOptions.RemoveEmptyEntries);
        Output0Buffer.AddRow();
        
        // 按目标表字段顺序赋值
        Output0Buffer.Date = DateTime.Parse(fileValues[colMap["Date"]]);
        Output0Buffer.FirstName = fileValues[colMap["FirstName"]];
        Output0Buffer.LastName = fileValues[colMap["LastName"]];
        Output0Buffer.Pincode = fileValues[colMap["Pincode"]];
        Output0Buffer.State = fileValues[colMap["State"]];
    }
}

4. 将脚本组件的输出连接到OLE DB Destination，直接映射输出列到目标表字段即可

4. 批量处理所有文件 #

添加Foreach Loop Container，选择Foreach File Enumerator：

• 设置待加载文件的目录和匹配规则（如*.txt）
• 将遍历到的文件路径赋值给User::CurrentFilePath
• 在循环内执行上述「读取表头→生成映射→加载数据」的流程，完成所有文件的批量处理

注意事项 #

• 确保所有文件的分隔符一致（示例为制表符\t，需根据实际调整拆分逻辑）
• 添加数据类型转换的异常捕获（如日期格式不兼容、空值处理）
• 若存在空行或脏数据，需在脚本中添加过滤逻辑（如跳过长度不符的行）

内容的提问来源于stack exchange，提问作者Hari