SSIS导入无文本限定符且地址含逗号的供应商CSV文件最佳实践

首选方案：协调数据源侧调整输出格式 #

• 直接联系CSV文件的供应商，要求其输出带双引号作为文本限定符的标准CSV文件，或者将分隔符替换为不会出现在业务字段中的字符（如竖线|、制表符\t）。该方案长期成本最低，可从根源避免字段拆分错误问题，无需额外开发下游处理逻辑。

替代方案1：SSIS脚本任务预处理文件 #

如果无法协调供应商调整输出，可在SSIS数据流执行前新增脚本任务，预先处理CSV文件：

• 提前确认CSV的字段顺序，明确仅地址字段会出现内嵌逗号、其余字段无逗号。
• 在脚本任务中使用C#/VB读取原始CSV，按行解析：
  1. 按逗号拆分每行内容，得到拆分后的数组
  2. 若数组长度等于预设的总字段数，直接按顺序取值即可
  3. 若数组长度大于总字段数，说明地址字段存在内嵌逗号，将地址字段对应位置到多出来的位置的内容用逗号拼接为完整地址，其余字段按正常位置取值
  4. 输出处理后的标准文件供后续数据流导入
     示例核心C#代码片段：

// 假设总字段数为5，地址字段是第3个（索引为2）
string[] lineParts = line.Split(',');
if(lineParts.Length > 5)
{
    string address = string.Join(",", lineParts.Skip(2).Take(lineParts.Length - 3));
    List<string> newParts = new List<string> { lineParts[0], lineParts[1], address, lineParts[lineParts.Length -2], lineParts[lineParts.Length -1] };
    // 写入新行
}

替代方案2：数据流内整行读取后拆分 #

无需预处理生成新文件，直接在数据流中处理：

• 配置平面文件连接管理器时，将分隔符设为换行符，仅设置1个长度足够的字符串类型字段（如DT_WSTR(8000)）读取整行内容
• 新增脚本组件或派生列，按照和预处理逻辑一致的规则拆分整行，生成对应字段后写入SQL Server目标表

替代方案3：SQL层清洗拆分 #

适合更熟悉SQL逻辑的开发场景：

• 先将CSV文件整行导入到SQL Server的临时中间表，中间表仅设1个NVARCHAR(MAX)类型的字段存储每行完整内容
• 编写SQL语句使用STRING_SPLIT、CHARINDEX、SUBSTRING等字符串函数，按已知的字段顺序拆分字段、合并地址字段的内嵌逗号内容，再写入正式业务表

通用注意事项 #

• 所有后置处理方案的前提是确认仅地址字段会出现内嵌逗号，若其余字段也存在内嵌逗号，需先明确所有可能含逗号的字段位置，调整合并逻辑
• 管道上线前需做全量校验：对比导入前后总数据行数、抽样校验含内嵌逗号的地址行是否拆分正确
• 管道中新增错误输出配置，将无法按规则拆分的异常行输出到独立错误表，供后续人工排查，避免整批次导入失败

内容的提问来源于stack exchange，提问作者mf.cummings