如何使用Apache NiFi处理REST API分页

核心思路 #

通过NiFi处理器组合完成分页循环：先获取API返回的总页数，再逐页发起请求，最终合并所有分页数据。

具体处理器流程 #

• 初始化请求参数
  使用GenerateFlowFile生成初始流文件，添加查询所需的日期范围属性（如start_date、end_date），同时设置初始页码属性current_page=1。

• 调用API并提取分页信息
  用InvokeHTTP处理器请求目标REST API：

  • 配置HTTP方法为GET，填写API地址，通过Attributes to Send as HTTP Parameters传递start_date、end_date、current_page参数。
  • 用EvaluateJsonPath处理器解析API响应，将number-of-pages提取为属性total_pages，current-page-number提取为current_page，同时保留响应内容在流文件中。

• 判断是否继续分页
  使用RouteOnAttribute处理器设置路由规则：

  • 规则表达式：needs_more = ${current_page:lt(${total_pages})}
  • 符合条件的流文件（当前页码小于总页数）进入下一页请求流程，不符合的进入结果合并环节。

• 生成下一页请求
  对需要继续分页的流文件，用UpdateAttribute处理器更新页码：

  • 属性表达式：current_page = ${current_page:plus(1)}
  • 更新后将流文件重新发送回InvokeHTTP处理器，发起下一页请求。

• 合并分页结果
  使用MergeContent处理器将所有分页的流文件内容合并为一个完整数据集，便于后续存储或处理。

关键配置要点 #

• InvokeHTTP重试配置：开启重试机制，设置合理的重试次数和间隔，应对临时网络问题。
• JSON路径准确性：根据API实际响应结构调整EvaluateJsonPath的提取路径，比如总页数的路径可能是$.number-of-pages。
• 循环终止校验：添加兜底判断，比如当total_pages为0时直接终止循环，避免无效请求。

内容的提问来源于stack exchange，提问作者XCELERENT - I want to dance