如何让NiFi中四个ExecuteSQLRecord的FlowFile全部流转至最终PutFile？

问题根源 #

每个ExecuteSQLRecord的运行逻辑是：接收输入FlowFile（仅作为触发查询的信号），执行SQL后生成全新的FlowFile存储查询结果，同时将原输入FlowFile路由到success/failure关系。你当前的串联方式是把前一个处理器的结果FlowFile作为下一个的输入，导致前序查询结果被后续处理器消耗，最终只有最后一个处理器的结果能抵达PutFile。

解决方案：并行分支+独立路由 #

直接调整流程结构，让4个查询并行执行，同时保留每个查询的结果FlowFile：

• 设置统一触发源：用GenerateFlowFile生成一个空的触发FlowFile（或用其他符合业务逻辑的触发方式），给这个FlowFile添加唯一标识属性（比如batch_id=20240520），方便后续追踪批次。
• 分支分发触发信号：把触发FlowFile同时发送给4个ExecuteSQLRecord处理器（每个处理器的输入都连接到触发源），每个处理器配置各自的MySQL查询语句。
• 独立路由结果与成功信号：
  • 每个ExecuteSQLRecord的success关系（即生成的查询结果FlowFile）直接连接到PutFile，确保所有结果都能到达最终输出。
  • 若需要单独的成功信号，给每个ExecuteSQLRecord的success关系额外连接一个UpdateAttribute或Notify处理器：比如用UpdateAttribute给结果FlowFile添加query_success=true和query_name=xxx属性，或用Notify发送成功通知到指定队列/日志。
• 统一失败处理（可选）：将所有ExecuteSQLRecord的failure关系连接到同一个LogAttribute或PutEmail处理器，集中记录失败信息。

关键配置细节 #

• 每个ExecuteSQLRecord的Input Strategy设置为Use Static SQL（如果不需要动态参数）或Use Flow File Attributes for SQL Parameters（需要参数时），确保触发FlowFile仅作为触发信号，不会被修改或消耗。
• 若需保证查询执行顺序，可给每个ExecuteSQLRecord设置不同的Execution Priority数值，或用Wait处理器配合触发FlowFile的属性来控制执行顺序（并行执行效率更高，非必要不推荐）。

内容的提问来源于stack exchange，提问作者Mobin Ranjbar