读取大型Excel文件并获取元数据活动因内存不足失败

异常信息 #

System.OutOfMemoryException: Exception of type 'System.OutOfMemoryException' was thrown.
at Microsoft.DataTransfer.Common.TasksCoordinator.CheckTaskFailureOrCancellation()
at Microsoft.DataTransfer.Runtime.PartitionParallelStageProcessor`1.Process(IEnumerable`1 data)
at Microsoft.DataTransfer.Runtime.PipelineProcessStageProcessor`2.Process(TInput data) 
at Microsoft.DataTransfer.Runtime.Provider.HybridRuntimeDataReader..ctor(HybridRuntimeCommand command, String commandBehavior, IMemoryLimit memoryLimit, Int32 previewCount) 
at Microsoft.DataTransfer.Runtime.Provider.HybridRuntimeCommand.ExecuteReaderInternal(String commandBehavior, Int32 rowCount) 
at Microsoft.DataTransfer.Execution.GetMetadataWorker.HandleStructureFields(IList`1 fieldList, InnerPropertyBags innerPropertyBags, HybridRuntimeConnection connection, IDictionary`2 metadata) 
at Microsoft.DataTransfer.Execution.GetMetadataWorker.<>c__DisplayClass3_0.<GetMetadata>b__1() 
at Microsoft.DataTransfer.Execution.GetMetadataWorker.HybridDeliveryExceptionToExecutionException(Action action) 
at Microsoft.DataTransfer.Execution.GetMetadataWorker.GetMetadata(InnerPropertyBags innerPropertyBags, GetMetadataProperties getMetadataProperties) 
at Microsoft.DataTransfer.Execution.GetMetadataWorker.ExecuteAsync(ExecutionParameters executionParameters, IProgress`1 progress, CancellationToken token)
at Microsoft.DataTransfer.Execution.RuntimeTask.ExecutionTask.Execute()

修复方案 #

1. 调整内存限制配置 #

从栈跟踪中的HybridRuntimeDataReader构造函数可见，该组件支持内存限制参数：

• 在任务配置面板中找到内存配额选项，提高分配给元数据读取操作的内存上限
• 代码层面显式设置MemoryLimit实例的阈值：

  var memoryLimit = new MemoryLimit(1024 * 1024 * 1024); // 分配1GB内存
  

2. 精简元数据读取范围 #

• 限制读取的工作表：如果Excel包含大量工作表，仅指定需要获取元数据的工作表，避免遍历所有表
• 关闭预览数据：将previewCount参数设为0，跳过预览数据加载，减少不必要的内存消耗
• 过滤字段：仅读取业务需要的字段结构，忽略无关字段

3. 拆分大型文件处理 #

• 将原Excel文件拆分为多个小文件，逐个读取元数据后合并结果
• 启用分区读取：如果工具支持，按工作表、行范围或列范围分区，分批次获取元数据，避免一次性加载全量数据

4. 优化运行环境 #

• 切换到64位运行环境：32位进程内存上限约2GB，64位系统可突破此限制，能利用更多系统内存
• 释放系统资源：关闭其他高内存占用进程，确保当前任务有充足内存可用
• 启用大地址感知（仅32位程序）：修改程序配置让其支持更大的内存寻址空间

5. 替换高效Excel处理库 #

如果当前使用的库内存效率不足，可替换为以下轻量级/流式处理库：

• EPPlus：支持流式读取大型Excel，内存占用低
• ClosedXML：轻量级Excel操作库，针对元数据读取做了优化
• 使用OLEDB/ODBC时，调整连接字符串参数（如IMEX=1、HDR=YES）避免加载全量数据

内容的提问来源于stack exchange，提问作者MultiCloud Engineer