如何通过结构化查询限制返回文档数？NiFi QueryMarkLogic处理器报错求助

错误原因解析 #

你碰到的org.apache.nifi.processor.exception.FlowFileHandlingException错误，核心原因是一次性读取60万份文档的超大集合时，处理器因数据量过载（内存耗尽、查询超时等），导致生成的FlowFile未被正确分配传输关系，最终触发异常。

结构化/组合查询的分页实现 #

不用依赖fn:subsequence，直接在MarkLogic查询里通过分页参数实现分批拉取：

1. 结构化查询分页写法 #

在结构化查询的选项中指定page-size和start参数，示例：

{
  "query": {
    "collection-query": {
      "uri": "My Collection"
    }
  },
  "options": {
    "page-size": 1000,
    "start": 1
  }
}

每次查询递增start值（比如下一次设为1001），即可分批获取集合内的文档。

2. 组合查询分页写法 #

如果使用组合查询，通过cts:page-size-option和cts:start-option实现分页：

cts:search(
  fn:doc(),
  cts:collection-query("My Collection"),
  (
    cts:page-size-option(1000),
    cts:start-option(1)
  )
)

NiFi处理器配置建议 #

• 选择Structured Query或Combined Query作为查询类型，填入上述带分页参数的查询语句。
• 搭配NiFi的LoopFlowFile处理器，自动循环递增start参数，实现全集合的分批拉取，避免一次性处理超大数据集。
• 适当调大处理器的Timeout和Max Concurrent Tasks参数，预留足够的处理资源和时间，防止再次触发FlowFile传输异常。

内容的提问来源于stack exchange，提问作者eaolson