SSIS作业生成重复记录，该从哪些方面排查？

• 检查源平面文件
  对比新旧服务器同一天的源文件，查看文件行数、大小，直接打开文件确认是否存在重复记录。有可能上游生成文件的系统在新环境下触发了两次写入，导致源数据本身就是双倍的。

• 核查SSIS包的加载逻辑

  • 确认目标表加载模式：检查包是否配置为追加数据而非覆盖数据，若旧环境是先清空表再加载，新环境遗漏了清空步骤（如TRUNCATE TABLE/DELETE语句失效），会导致新旧数据叠加翻倍。
  • 检查包内任务执行次数：查看数据流任务是否被重复调用，比如Foreach循环、容器逻辑是否存在意外的二次执行分支。
  • 验证去重逻辑：确认旧环境中是否有针对源数据的去重处理（如DISTINCT、聚合或自定义脚本），新环境是否遗漏了该配置。

• 深挖SQL Server Agent作业细节

  • 查看作业步骤配置：确认作业是否包含多个执行数据加载的步骤，或步骤的重试次数设置异常导致重复执行。
  • 检查Agent系统日志：除了作业历史，查看SQL Server Agent的系统级日志，排查是否存在未记录在作业历史中的触发事件（如手动触发、定时任务重叠）。

• 检查目标表约束与数据状态

  • 确认目标表是否存在主键/唯一约束：若新环境未迁移该约束，SSIS重复插入数据不会报错，直接导致数据翻倍。
  • 查看目标表的历史数据：查询目标表在作业执行前后的数据量变化，确认是单次加载就产生了双倍数据，还是之前有残留数据未清空。

• 验证SSRS报表逻辑

  • 检查数据集查询：确认报表的SQL查询是否存在笛卡尔积（如关联表时缺少连接条件）、重复聚合等问题，导致查询结果翻倍。
  • 核对报表参数：确认日期范围等参数是否正确指向单日数据，避免因参数错误拉取了多日数据叠加。

内容的提问来源于stack exchange，提问作者Patrick