如何在大型MarkLogic数据库中高效定位含无效xs:long类型ID的文档？

方案1：利用已有的xs:long范围索引（无需新增索引） #

如果已经为<ID>元素创建了xs:long类型的范围索引，可以通过"存在ID元素但不在long值合法范围内"的逻辑定位无效文档。因为无效值不会被纳入范围索引，所以用cts:element-query匹配所有含ID的文档，再排除能被范围索引覆盖的有效值：

cts:search(
  fn:collection()/book,
  cts:and-query((
    cts:element-query(xs:QName("ID"), cts:true-query()),
    cts:not-query(
      cts:element-range-query(xs:QName("ID"), ">=", xs:long(-9223372036854775808))
    )
  ))
)[1 to 100] -- 先取前100条验证结果

如果无效值包含空字符串或仅空白字符，可补充排除逻辑：

cts:search(
  fn:collection()/book,
  cts:and-query((
    cts:element-query(xs:QName("ID"), cts:true-query()),
    cts:not-query(
      cts:or-query((
        cts:element-range-query(xs:QName("ID"), ">=", xs:long(-9223372036854775808)),
        cts:element-range-query(xs:QName("ID"), "=", "")
      ))
    )
  ))
)

方案2：基于字符串范围索引的正则匹配（最优性能） #

如果可以新增索引，给<ID>元素创建字符串类型的范围索引，然后用正则表达式匹配不符合xs:long格式的字符串。这种方式完全基于索引查询，性能最优，适合百万级文档规模：

1. 先在MarkLogic管理界面为ID元素添加字符串范围索引；
2. 执行以下查询定位无效文档：

cts:search(
  fn:collection()/book,
  cts:element-range-query(
    xs:QName("ID"),
    "matches",
    "^(?!-?\d+$).*$" -- 匹配非正负整数的字符串
  )
)

正则说明：^(?!-?\d+$)表示排除以可选负号开头、后面全是数字的字符串，覆盖所有无效的xs:long场景（如含字母、特殊字符、小数、超长数字等）。

方案3：分批扫描+异常捕获（无需修改索引） #

如果无法新增或修改索引，可通过try/catch捕获类型转换错误，结合分页扫描避免超时。每次处理小批量文档，循环执行直到完成：

declare variable $batch-size := 1000;
declare variable $total := cts:count(cts:element-query(xs:QName("ID"), cts:true-query()));

for $start in 1 to $total step $batch-size
return
  cts:search(
    fn:collection()/book,
    cts:element-query(xs:QName("ID"), cts:true-query()),
    ("unfiltered"), -- 关闭过滤，提升扫描速度
    $start,
    $batch-size
  )[try(xs:long(ID)) catch (err:FORG0001) { true() }]

注意：unfiltered参数会跳过索引过滤，直接扫描文档，所以必须控制批量大小避免超时。

补充说明 #

• 优先选择方案2，索引查询的性能远高于全文档扫描；
• 方案1依赖已有的long范围索引，若索引不存在则无法生效；
• 方案3适合临时排查场景，无需调整索引，但处理速度较慢，需耐心等待。

内容的提问来源于stack exchange，提问作者Kumar