Apache NiFi ConvertExcelToCSVProcessor转CSV报数组超限解决

org.apache.nifi.processors.poi.ConvertExcelToCSVProcessor.error报错的核心原因是Apache NiFi 1.16.3内置的Apache POI组件（负责Excel解析）默认给字节数组内存分配设置了100,000,000字节的硬上限。17MB的xlsx是压缩格式的OOXML文件，解压后内部XML解析流膨胀后实际需要101,695,141字节内存，刚好超过默认阈值触发报错，和文件损坏、文件体积超标无关。
1.16.3版本的ConvertExcelToCSVProcessor没有暴露IOUtils.setByteArrayMaxOverride()的可视化配置入口，在处理器配置页找不到对应选项属于正常情况，无需专门编写自定义处理器解决。

按操作成本从低到高排序：

• 全局JVM参数覆写（零代码，当前版本直接可用）
  无需修改源码、无需自定义处理器，通过JVM系统参数全局覆写POI内存上限即可：
  1. 打开NiFi安装目录下的conf/bootstrap.conf配置文件
  2. 定位到文件内连续的java.arg.N=xxx格式JVM参数段，取当前最大的N值加1作为新参数序号，添加一行配置：

     java.arg.新序号=-Dpoi.security.array.override=200000000
     

     该配置将字节数组上限调整为200,000,000字节（约190MB），足够覆盖当前报错的内存需求，可根据实际文件体量调整数值
  3. 保存配置后重启NiFi服务，重跑流程即可生效
• 升级NiFi版本（长期最优方案）
  NiFi从1.18.0版本开始，官方在ConvertExcelToCSVProcessor中新增了可视化配置项Excel Max ByteArray Size，升级后直接在处理器配置页修改对应阈值即可，无需调整全局配置，不会影响其他处理器运行逻辑。
• 流程拆分应急处理
  若暂时无法修改配置、无法升级版本，可先将待处理xlsx拆分为多个单文件大小不超过10MB的分片，再传入处理器转换。拆分后的文件解压膨胀体量不会触发100MB阈值，转换完成后合并输出的多个CSV文件即可，适合临时应急场景。

该问题完全不需要单独开发自定义处理器，上述三个方案均为官方支持的合规解决路径。仅当需要针对单个处理器任务单独设置内存阈值、不希望做全局配置调整时，才需要基于官方ConvertExcelToCSVProcessor源码，在处理器初始化方法中添加IOUtils.setByteArrayMaxOverride(200000000);逻辑，重新打包NAR文件部署，普通场景无此必要。

内容的提问来源于stack exchange，提问作者takotsubo