如何快速可靠地在MarkLogic中删除数百万份文档？

问题背景 #

我们尝试过多种MarkLogic文档删除方法，但始终没找到无需事后反复验证就能可靠删除数百万份文档的方案：

• 使用xdmp:collection-delete可以删除整个集合，但速度极慢；
• 当前用的分页异步删除XQuery是目前找到的最快方式，但每次运行后都得检查剩余文档，重复操作直到删完，效率低下。

我们的现有XQuery代码：

xquery version "1.0-ml";
let $page-size := 1000
let $uris := cts:uris('', (), cts:collection-query('OurCollection'))
let $pages := (count($uris) idiv $page-size) + 1
return 
  for $page in (1 to $pages)
  let $start := (($page - 1) * $page-size) + 1 
  let $end := $page * $page-size
  let $uris := subsequence($uris, $start, $end)
  return
    xdmp:spawn-function(function(){
      for $uri in $uris
      return
        xdmp:document-delete($uri)
    });

现有代码的问题 #

1. 一次性加载所有URI：cts:uris直接获取全量URI，数百万级数据会占用大量内存，甚至触发内存溢出；
2. 预计算分页失效：删除过程中URI集合可能变化（比如其他操作新增/删除文档），导致分页范围不准确，出现遗漏或重复删除；
3. 单条删除效率低：循环调用xdmp:document-delete单删每个URI，函数调用开销大；
4. 无并发控制：xdmp:spawn-function默认无并发限制，大量异步请求会压垮集群资源。

优化后的可靠删除方案 #

1. 优化XQuery代码（批量+流式+并发控制）

xquery version "1.0-ml";
declare variable $TARGET_COLLECTION := 'OurCollection';
declare variable $BATCH_SIZE := 10000; -- 根据集群性能调大批次（建议5000-20000）
declare variable $MAX_CONCURRENT := 4; -- 控制并发数，避免集群过载

let $total_docs := xdmp:estimate(cts:collection-query($TARGET_COLLECTION))
let $total_batches := ceiling($total_docs div $BATCH_SIZE)
return
  for $batch_num in 1 to $total_batches
  let $offset := ($batch_num - 1) * $BATCH_SIZE
  -- 流式获取当前批次URI，避免全量加载
  let $batch_uris := cts:uris('', (), cts:collection-query($TARGET_COLLECTION), $BATCH_SIZE, $offset)
  where not(empty($batch_uris)) -- 跳过空批次
  return
    xdmp:spawn-function(
      function() {
        -- 批量删除，减少函数调用开销
        xdmp:document-delete($batch_uris)
      },
      <options xmlns="xdmp:eval">
        <max>{$MAX_CONCURRENT}</max>
        <transaction-mode>update-auto-commit</transaction-mode> -- 自动提交事务，降低开销
      </options>
    )

2. 社区常用高效删除实践

• 分区集合删除：如果文档可以按时间、业务维度拆分到子集合（比如OurCollection-2024Q1），直接用xdmp:collection-delete删除子集合，小集合的删除速度远快于大集合；
• 森林级删除：如果目标文档集中存储在单独的森林里，直接删除森林再重建是最快的方式（需提前规划森林隔离，确保森林仅包含待删文档）；
• 快速验证：用xdmp:estimate(cts:collection-query('OurCollection'))替代count(cts:uris(...))检查剩余文档，xdmp:estimate是基于索引的估算，速度极快；
• 批量操作工具：如果使用MarkLogic Data Hub Framework (DHF)，可以用其内置的批量删除组件，简化大规模数据操作。

内容的提问来源于stack exchange，提问作者Doug Gibbs