SSIS中OutputBuffer处理百万级C#列表无输出问题排查

针对你遇到的SSIS脚本处理大文件无输出的问题，可能的原因及解决方向如下：

• 内存溢出导致数据丢失
  600万条BsonDocument全部加载到listBson集合中会占用大量内存，超出脚本任务的内存限制时，可能出现静默崩溃或数据未正常写入输出缓冲区的情况。小文件数据量小，内存占用在阈值内所以正常运行。
  解决：不要一次性加载所有数据到内存，改为逐行读取处理，比如直接从MongoDB的游标中逐条处理，避免将全量数据存入List。示例代码调整：

  // 假设cursor是MongoDB的查询游标
  foreach (BsonDocument bson in cursor)
  {
      OutputBuffer.AddRow();
      OutputBuffer.DatalineX = bson.GetValue("data").AsString;
  }
  

• 隐藏的转换异常中断处理
  大文件中可能存在个别BsonDocument的"data"字段类型不是字符串，直接强制转换(string)会抛出异常，但SSIS脚本任务默认可能不会暴露错误，导致处理中途终止，后续数据无法输出。小文件刚好没有这类异常数据。
  解决：添加异常捕获，同时使用安全的类型转换方式：

  foreach (BsonDocument bson in listBson)
  {
      try
      {
          OutputBuffer.AddRow();
          // 使用AsString安全转换，不存在时返回空或抛出可控异常
          OutputBuffer.DatalineX = bson.GetValue("data", BsonValue.Create("")).AsString;
      }
      catch (Exception ex)
      {
          // 记录异常到SSIS日志或自定义日志文件
          System.Diagnostics.Debug.WriteLine($"处理数据行出错: {ex.Message}");
          // 可选：跳过错误行继续处理
          continue;
      }
  }
  

• SSIS输出缓冲区配置限制
  检查SSIS数据流中输出列DatalineX的长度限制，如果大文件中存在超长字符串，超过列定义的长度会导致该行被丢弃，大量此类情况会导致最终无有效输出。
  解决：在数据流任务中修改DatalineX的列长度为足够大的值（比如DT_STR类型设为最大长度4000，或用DT_TEXT类型）。

• 脚本任务的内存与超时配置
  SSIS的脚本任务默认内存配额有限，处理超大数据量时可能被系统强制回收资源。另外，MongoDB查询如果未设置超时，大文件读取时可能超时导致数据未完全加载到listBson。
  解决：

  1. 在SSIS项目属性中调整脚本任务的内存限制（需注意服务器资源）；
  2. 给MongoDB查询设置合理的游标超时，开启noCursorTimeout（根据场景选择），确保全量数据能被读取。

• 数据加载阶段截断
  加载600万条数据到listBson时，可能因为网络、MongoDB性能限制导致数据未完全加载，listBson实际为空或不完整，但小文件加载速度快，数据完整。
  解决：在加载数据后添加校验逻辑，比如打印listBson.Count到日志，确认数据量是否符合预期。如果数据量不足，排查MongoDB查询语句或连接配置。

内容的提问来源于stack exchange，提问作者Dexter