NiFi处理大体积行式JSON转CSV的高效方案咨询

针对你处理3-24GB行式JSON（每行独立JSON对象，无外层数组）的需求，推荐直接用Record系列处理器搭建极简流程，性能和简洁性都远优于你当前的方案：

核心流程 #

GetFile → ConvertRecord → PutFile

详细配置步骤 #

1. 配置JsonTreeReader（关键） #

创建一个JsonTreeReader控制器服务，开启Treat Each Line as a Separate Record选项。这个配置会让NiFi自动将每行视为独立的JSON记录，完全不需要SplitText或SplitJson拆分文件，直接流式读取大文件。

• 如果字段结构固定，建议在Schema Access Strategy里选择Use Schema Text，手动定义JSON的Schema（比如{"type": "record", "fields": [{"name": "field1", "type": "string"}, ...]}），能提升处理性能；如果字段不固定，选Infer Schema自动推断即可。

2. 配置CSVRecordSetWriter #

创建CSVRecordSetWriter控制器服务：

• 在Include Fields里填写你需要提取的字段名（用逗号分隔，比如user_id,order_amount,create_time），精准筛选目标字段；
• 根据需求设置Include Header Line（是否生成CSV表头）、Field Delimiter（分隔符，默认逗号）等参数。

3. 配置ConvertRecord处理器 #

• 选择刚才配置的JsonTreeReader作为Record Reader；
• 选择CSVRecordSetWriter作为Record Writer；
• 其他参数保持默认即可，处理器会自动将每行JSON转换为指定字段的CSV行。

4. 收尾：GetFile和PutFile #

• GetFile：设置好待处理文件的目录，根据服务器性能调整Batch Size，避免一次性加载过多大文件；
• PutFile：指定CSV文件的输出目录，完成最终写入。

为什么这个方案更好？ #

• 无需拆分合并：全程流式处理大文件，避免SplitText+MergeContent带来的大量小文件IO开销，性能提升明显；
• 无冗余步骤：用ConvertRecord直接完成JSON到CSV的转换，替代ValidateRecord+ScriptTransformRecord的繁琐组合，减少处理器数量和配置复杂度；
• 容错性强：Record处理器自带数据校验，若某行JSON格式错误，可通过Relationships里的failure分支单独处理，不影响整体流程。

你之前方案的问题分析 #

第一种方案只拿到第一行，大概率是因为SplitText或SplitJson没有正确配置行拆分规则，或者ScriptTransformRecord只处理了第一条记录。而用JsonTreeReader的行模式，从根源上解决了这个问题。

内容的提问来源于stack exchange，提问作者Patrick Baie