NiFi集群内存持续增长问题排查求助（1.16.3版本）

环境配置 #

• NiFi集群：3节点，版本1.16.3，原生安装（无Docker），集成内置ZooKeeper
• 硬件：8核32G内存、2T高速SSD，ARM64架构
• 操作系统：CentOS7.9
• JVM配置：初始xms12G、xmx12G（配置于bootstrap.conf），曾尝试调整为18G/6G，升级OpenJRE至11，添加过CodeCache相关JVM参数（均无效）
• 业务负载：每日00:00-03:00运行20个原生组件工作流，总数据量1.2G，将CSV文件写入Greenplum数据库；任务运行时内存占用仅30%左右，半小时内即可完成，但内存每日增长约0.2G，12G配置下约1个月耗尽导致节点宕机

核心问题 #

集群节点内存持续缓慢增长，无明显业务负载时仍无法释放，最终导致节点宕机，常规内存调整、JDK升级、CodeCache优化均无法解决

已尝试无效方案 #

• 调整JVM堆内存为18G或6G：工作流处理速度无变化，18G配置下宕机周期反而缩短
• 从OpenJRE 1.8升级至11：内存增长问题无改善
• 添加CodeCache相关JVM参数：

  java.arg.7=-XX:ReservedCodeCacheSize=256m
  java.arg.8=-XX:CodeCacheMinimumFreeSpace=10m
  java.arg.9=-XX:+UseCodeCacheFlushing
  

排查建议 #

1. 抓取内存dump分析泄漏根源
   • 在内存占用比初始值高2G以上时，执行jmap -dump:format=b,file=nifi_heapdump.hprof <NiFi_PID>生成堆dump文件
   • 用MAT（Memory Analyzer Tool）或VisualVM解析dump：
     • 定位内存占用Top的对象类型，重点排查FlowFile、Greenplum连接池对象、CSV解析相关对象是否未被回收
     • 检查是否存在类加载器泄漏，或静态集合持有大量无效对象引用
2. 检查业务处理器配置
   • 重点核查CSV读取、Greenplum写入类处理器（如GetFile、PutGreenplum、ConvertRecord）：
     • PutGreenplum连接池：确认最大连接数、空闲连接超时时间配置，避免连接对象长期占用内存
     • FlowFile队列：检查是否有未配置自动清理的失败队列、积压队列，或未及时处理的待处理FlowFile
     • 批处理参数：确认处理器批处理大小是否合理，过大的批处理可能导致对象堆积
3. 分析GC日志定位回收异常
   • 在bootstrap.conf中添加GC日志配置：

     java.arg.x=-Xloggc:/path/to/nifi_gc.log
     java.arg.x=-XX:+PrintGCDetails
     java.arg.x=-XX:+PrintGCDateStamps
     java.arg.x=-XX:+PrintHeapAtGC
     java.arg.x=-XX:+UseGCLogFileRotation
     java.arg.x=-XX:NumberOfGCLogFiles=5
     java.arg.x=-XX:GCLogFileSize=100M
     

   • 查看Full GC频率、回收后内存变化，判断是内存泄漏还是GC策略不匹配导致的内存无法释放
4. 核查集成ZooKeeper状态
   • 查看ZK日志（logs/zookeeper目录），确认是否存在连接异常、会话频繁重连情况，异常ZK交互可能导致NiFi客户端对象无法释放
   • 检查集群节点状态同步是否正常，排除节点频繁断开重连引发的对象堆积
5. 排查版本已知bug
   • 查阅NiFi 1.16.3的Release Notes及Jira Issues，确认是否存在ARM64架构下的内存泄漏问题，或PutGreenplum等处理器的已知泄漏bug
   • 尝试升级至稳定新版本（如1.20.0+）验证问题是否解决
6. 监控堆外内存变化
   • 用jstat -gc <NiFi_PID> 1000监控Metaspace、CodeCache等堆外内存区域，确认内存增长是否来自堆外，若为Metaspace增长需排查类加载泄漏

需要补充的信息 #

• 工作流的完整处理器链路（从CSV采集到Greenplum写入的所有处理器）
• PutGreenplum的具体配置（连接池大小、超时时间、批处理参数等）
• NiFi节点的GC日志片段（尤其是Full GC后的内存变化）
• 内存增长阶段的NiFi监控指标（JVM内存、队列大小、处理器统计数据）

内容的提问来源于stack exchange，提问作者Rhyme Zhao