NiFi处理大型JSON文件应组合哪些处理器？附FTP拉取转存MySQL场景

嘿，针对你处理大型gzip压缩JSON文件并导入MySQL的需求，咱们先梳理下现有工作流的问题，再给出更适配你NiFi 1.6.0和1G堆内存情况的处理器组合：

一、现有工作流的核心问题 #

• 第一步就搞反了：文件本身是gzip压缩的，你用了CompressContent，这会把已经压缩的文件再次压缩，完全不符合需求，应该换成UncompressContent来解压gzip文件。
• SplitJson不适合大文件场景：它会把整个JSON文档全量加载到内存中拆分，对于500MB-3GB的gzip文件（解压后可能是几GB甚至十几GB），1G堆内存肯定会直接触发OOM（内存溢出），必须换成支持流式处理的拆分方式。

二、优化后的处理器组合（适配大文件+内存限制） #

推荐的工作流顺序，每一步都考虑了内存友好性：

1. GetFTP：从FTP拉取gzip压缩的JSON文件，注意配置里把Batch Size设小一点（比如1），Fetch Interval根据需求调整，避免一次性拉取过多大文件导致内存压力陡增。
2. UncompressContent：配置压缩格式为gzip，NiFi会流式处理解压，不用把整个文件加载到内存。
3. SplitRecord：这是处理大JSON拆分的关键！配合JsonTreeReader和JsonRecordSetWriter实现流式拆分单个JSON对象，完全不会把大文件全量加载到内存。
   • 配置Reader为JsonTreeReader，设置Root JSON Path Expression为你的JSON数组根路径（比如$.*如果是顶层数组，或者$.data如果数组嵌套在data字段下），让Reader逐对象流式读取。
   • 配置Writer为JsonRecordSetWriter，确保每个输出流文件都是单个独立的JSON对象。
4. EvaluateJsonPath：提取每个JSON对象中的字段，把它们设置为流文件的属性（勾选Destination为flowfile-attribute），比如把$.id映射为id属性，$.username映射为username属性，方便后续生成SQL。
5. ConvertJSONToSQL：直接用每个流文件的JSON内容生成INSERT语句，配置好目标表名、操作类型为INSERT，并做好字段映射（如果需要自定义映射的话）。
6. PutSQL：把生成的SQL插入MySQL，记得开启Batch Mode，设置Batch Size为500-2000（根据你的MySQL性能调整），批量提交能大幅提高插入效率，同时减少数据库连接开销。

三、关键配置注意事项（针对内存和性能） #

• JVM堆内存：虽然你当前设置的是1024MB，如果服务器资源允许，建议上调到2048MB，能更稳妥地处理大文件；如果只能用1G，只要控制同时处理的大文件数量（比如GetFTP并发设为1），用SplitRecord流式处理也能撑住。
• SplitRecord的细节配置：把JsonTreeReader的Buffer Size设为8192字节左右，平衡读取效率和内存占用。
• 避免冗余处理器：你之前用的AttributesToJson其实没必要，SplitRecord已经输出单个JSON对象，直接用ConvertJSONToSQL处理即可，减少不必要的内存消耗。

四、备选方案（如果SplitRecord有兼容性问题） #

如果NiFi 1.6.0的SplitRecord出现奇怪的兼容性问题，也可以用ExecuteStreamCommand调用外部工具jq来拆分大JSON（需要在NiFi服务器上安装jq），命令示例：jq -c '.[]' ${filename} > /tmp/split_${filename}_%d.json，之后用ListFile读取拆分后的小文件再继续后续流程。不过这种方式不如SplitRecord原生集成方便，优先推荐原生方案。

内容的提问来源于stack exchange，提问作者Nathan