SSIS循环执行包任务加载大量小文件时内存不足报错求助

1. 修复In-Process模式下的内存泄漏问题 #

当ExecuteOutOfProcess=False时，内存泄漏多源于未正确释放的资源或持久化连接，可通过以下步骤解决：

• 强制连接资源释放：将所有连接管理器（平面文件、SQL Server）的RetainSameConnection属性设为False，避免连接在循环中持续驻留内存。
• 清理子包资源：在子包的PostExecute事件中添加脚本任务，手动清空自定义变量、释放对象引用；若使用脚本组件读取文件，确保流对象执行Dispose()操作。
• 拆分循环批次：将2000个文件按每200-300个为一批拆分，主包处理完一批后，执行DBCC FREESYSTEMCACHE('ALL')（仅在非高峰时段使用），强制回收内存后再处理下一批。
• 禁用包持久化：主包和子包的SaveCheckpoints属性设为False，避免checkpoint文件占用额外内存。

2. 解决ExecuteOutOfProcess=True时的权限与连接异常 #

跨进程执行的核心问题是权限隔离和参数传递失效，可通过以下配置修复：

• 指定执行身份：在Execute Package Task的Process选项卡，将RunAs设置为拥有文件读取权限、SQL Server登录权限的域账号，避免子包以SSIS服务默认账号执行。
• 统一参数传递：子包的连接字符串、文件路径等配置通过主包参数传递，而非硬编码或独立配置文件。映射参数时确保ParameterBinding的Direction设为Input，且参数名称完全匹配。
• 调试环境适配：Visual Studio调试时，将项目属性的Debugging→Run64BitRuntime设为False（若使用32位驱动），同时确保子包所在路径对调试账号完全可见。
• 修复托管连接权限：若报错“无法获取托管连接”，检查SQL Server登录账号是否允许跨进程访问，确保OLEDB驱动版本与SSIS运行环境一致。

3. 缓冲区配置的精准优化 #

针对小文件特性调整缓冲区参数，避免内存堆积：

• 固定缓冲区大小：禁用AutoAdjustBufferSize，将DefaultBufferSize设为65536（64KB），DefaultBufferMaxRows设为1000（与单文件最大行数匹配），确保每个文件处理后缓冲区立即回收。
• 关闭延迟验证：子包和DFT的DelayValidation设为False，避免SSIS预加载大量元数据占用内存。

内容的提问来源于stack exchange，提问作者CedD