如何获取NiFi特定队列全部FlowFile？解决API分页限制问题

问题背景 #

当前使用NiFi的FlowFile队列API时，单请求最多返回100条结果，但目标队列包含358个FlowFile，需要获取全部数据。

解决方案：分页请求或调整单次请求上限 #

NiFi的FlowFile列表API支持通过参数控制返回结果范围，有两种可行方式：

方式1：通过分页参数分批获取

NiFi的/flowfile-queues/{queueId}/listing-requests（POST创建请求）接口支持maxResults和offset两个参数，用来实现分页：

1. 计算分页参数：根据返回结果中的queueSize.objectCount（总FlowFile数），计算需要的分页次数：
   • 总页数 = 向上取整(总数量 / 单次最大条数) → 358/100=4页（offset分别为0、100、200、300）
2. 依次创建分页请求：
   • 第一页：发起POST请求，传入{"maxResults":100, "offset":0}
   • 第二页：传入{"maxResults":100, "offset":100}，以此类推
3. 获取每页结果：每个POST请求会返回一个listingRequest的ID，用这个ID发起GET请求（即你当前使用的API格式）获取对应页的FlowFile数据
4. 合并结果：将所有请求返回的flowFileSummaries数组合并，得到全部FlowFile列表

示例POST请求（curl）：

curl -X POST "https://myserver.com:myport/nifi-api/flowfile-queues/ba619122-3c65-3279-a2ba-b3ad89f8a429/listing-requests" \
  -H "Content-Type: application/json" \
  -d '{"maxResults": 100, "offset": 0}'

方式2：直接调整单次请求的maxResults值

如果NiFi版本允许，你可以直接设置maxResults为大于队列总数量的数值（比如400），这样一次POST请求就能创建返回全部FlowFile的listing请求，无需分页。

示例POST请求：

curl -X POST "https://myserver.com:myport/nifi-api/flowfile-queues/ba619122-3c65-3279-a2ba-b3ad89f8a429/listing-requests" \
  -H "Content-Type: application/json" \
  -d '{"maxResults": 400, "offset": 0}'

注意事项 #

• 创建listing请求后，需要等待请求状态变为finished: true再发起GET请求获取结果
• 如果队列在获取过程中有FlowFile新增或移除，可能导致数据重复或遗漏，建议在业务低峰期操作
• 部分NiFi版本可能对maxResults有上限限制，若设置过大返回报错，优先使用分页方式

内容的提问来源于stack exchange，提问作者self lab