SSIS运行时进程提前结束 Merge Join输出结果不符合预期

问题复现 #

• 对两个数据源执行Merge Join操作后将结果写入平面文件，运行时进程疑似在Merge Join执行完成前提前终止
• 三个目标文件均已生成并写入数据，其中LV、VK文件数据填充正常，仅VY文件数据不符合预期
• VY文件预期结构：包含Query A除1列外的全部列，以及Query B的1列
• 本次Merge Join关联逻辑：关联Multicast输出与Multicast 1输出，匹配条件为Col 1.1 = Col 2.1、Col 1.3 = Col 2.3；输出列选择左侧输入除Col 1.5外的所有列，加上右侧输入的Col 2.2列

相关配置截图 #

排查解决步骤（按故障概率从高到低排序） #

1. 优先验证Merge Join输入的排序合规性
   Merge Join组件对输入的排序要求是强约束，只要不满足就会出现匹配中断、结果不全的问题，且不会抛出显性报错：
   • 确认两个输入的排序规则完全一致：左输入必须按Col 1.1、Col 1.3排序，右输入必须按Col 2.1、Col 2.3排序，两边排序的升降序必须完全相同
   • 如果是在源组件中通过SQL语句加ORDER BY实现排序，必须手动标记排序属性：右键源组件→【显示高级编辑器】→【输入和输出属性】标签页，选中对应输出节点，将IsSorted属性值改为True；再依次选中两个关联键列，将SortKeyPosition属性按排序优先级分别设为1、2，否则SSIS不会识别数据已排序，会按乱序处理，遇到不符合排序预期的行就会终止匹配输出
   • 如果是通过Sort组件实现排序，确认Sort组件的排序列就是上述两个关联键，没有多余的排序规则、没有设置行筛选
2. 核对Merge Join的连接类型与列配置
   双击打开Merge Join组件检查配置：
   • 确认连接类型符合业务预期：如果误选内连接，所有两边关联键不匹配的行都会被丢弃；如果选左外连接，右侧无匹配行时Col 2.2会返回空值，属于组件正常逻辑
   • 确认关联键的映射正确，没有把不同数据类型的字段做关联（比如左列是int、右列是字符串，或者一边是varchar一边是nvarchar存在隐式转换，会导致匹配失效），同时检查关联键是否存在前后空格、不可见字符导致匹配失败
   • 确认输出列勾选正确：左侧除Col 1.5外的列全部勾选，右侧仅勾选Col 2.2，没有误勾选其他列或者漏选需要的列
3. 检查VY文件对应的平面文件目标配置
   • 打开平面文件连接管理器，确认列定义和Merge Join输出的列数据类型、长度、编码完全匹配，没有列映射错位的情况
   • 检查平面文件目标的错误输出配置：如果设置了错误行直接忽略，遇到列长度超限、编码不兼容的行时会直接丢弃行且不报错，就会出现文件生成但数据不全的情况，临时测试可以把错误输出设为【重定向行】，看是否有大量错误行生成
4. 排查数据流缓冲区配置问题
   如果输入数据量较大，默认缓冲区大小不足可能导致数据未完全加载就触发输出：选中数据流任务画布空白处，在属性面板找到DefaultBufferSize，调整为10485760（即10MB），DefaultBufferMaxRows调整为10000后重新运行测试
5. 通过数据查看器定位故障点
   分别在Merge Join输出端、Merge Join到VY平面文件目标的连接路径上右键，选择【添加数据查看器】，运行包时逐段检查数据：
   • 如果Merge Join输出端的数据已经不符合预期，故障点在Merge Join及上游组件
   • 如果Merge Join输出数据正常，到平面文件目标前的数据异常，说明中间存在未注意到的过滤、转换组件修改了数据
   • 如果进入平面文件目标前的数据完全正常，写入文件后异常，故障点在平面文件连接管理器配置

内容的提问来源于stack exchange，提问作者Eduardo Moreno