DataStage 11.5 CFF阶段处理大文件时触发APT_BadAlloc堆分配失败异常求助

作业场景：使用DataStage 11.5的CFF阶段将大尺寸CFF文件转换为文本文件时，作业因堆分配失败中止，日志报错如下：

Message: main_program: Current heap size: 2,072,104,336 bytes in 4,525,666 blocks
Message: main_program: Fatal Error: Throwing exception: APT_BadAlloc: Heap allocation failed. [error_handling/exception.C:132]

以下是针对性的解决方法：

• 调整作业级堆内存参数
  打开作业的Job Properties，切换到Parallel标签页，在Additional Parameters中添加内存配置参数：

  -M 4G
  -heap 3G
  

  数值可根据服务器物理内存调整，建议不超过物理内存的70%，避免触发swap交换导致性能下降。

• 优化CFF阶段的读取策略

  1. 进入CFF阶段配置界面，在Performance选项卡中启用Enable Partitioning，选择Round Robin或Hash Partitioning策略，将大文件拆分到多个进程并行处理，降低单个进程的内存负载。
  2. 若无需解析复杂嵌套字段，关闭Parse Complex Fields选项，减少内存消耗。

• 修改DataStage引擎默认堆配置
  找到DataStage安装目录下的dsenv文件（通常路径为/opt/IBM/InformationServer/Server/DSEngine），修改以下环境变量：

  APT_HEAP_SIZE=3145728000
  APT_DEFAULT_TRANSPORT_BLOCK_SIZE=1048576
  

  修改完成后重启DataStage服务，让配置生效。

• 检查服务器系统资源
  使用top或free命令查看服务器内存使用情况，关闭其他占用大量内存的后台进程；若swap使用率过高，优先考虑增加物理内存，避免因虚拟内存交换导致堆分配失败。

内容的提问来源于stack exchange，提问作者Satyam Tiwari