如何在MarkLogic中识别绑定重复账号的唯一员工匹配记录

前置准备：创建范围索引（必做，保障性能） #

100万文档量级下必须提前建路径范围索引避免全量扫描，操作路径：MarkLogic管理后台 -> 你的staging数据库 -> 路径范围索引 -> 新建两个索引：

• EmpId路径范围索引：
  • 路径表达式：/Details/EmpId
  • 标量类型：根据你实际EmpId存储格式选int或string
  • 勾选「有序」选项即可，排序规则保持默认
• AccountNo路径范围索引：
  • 路径表达式：/Details/Account/AccountNo
  • 标量类型：根据你实际账号格式选int或string
  • 勾选「有序」选项即可，排序规则保持默认

核心查询代码（XQuery，性能最优） #

直接用内置cts:tuples拉取所有去重的(AccountNo, EmpId)组合，再按AccountNo分组统计绑定多个EmpId的记录：

xquery version "1.0-ml";

let $accountEmpMap := map:map()
let $_ := 
  (: 拉取所有去重的AccountNo+EmpId组合，自动跳过同一员工同一账号的重复记录 :)
  for $tuple in cts:tuples((
    cts:path-reference("/Details/Account/AccountNo"),
    cts:path-reference("/Details/EmpId")
  ))
  let $acc := $tuple[1]
  let $empId := $tuple[2]
  return map:put($accountEmpMap, $acc, map:get($accountEmpMap, $acc) || ($empId,))
return
  (: 过滤出对应EmpId数量≥2的账号，输出结果 :)
  map:new(map:keys($accountEmpMap)[count(map:get($accountEmpMap, .)) >= 2] ! map:entry(., map:get($accountEmpMap, .)))

查询会直接返回类JSON结构的结果，key是重复绑定的账号，value是该账号绑定的所有不同EmpId列表。

可选：查询重复账号对应的完整员工文档 #

如果需要拿到这些账号对应的全量员工记录，在上述结果基础上增加查询逻辑即可：

xquery version "1.0-ml";
(: 替换为上一步拿到的重复账号列表 :)
let $dupAccounts := ("111","222")
return 
  cts:search(
    collection("your-collection"), (: 替换为你的文档所在集合，缩小范围可大幅提升性能 :)
    cts:element-value-query(xs:QName("AccountNo"), $dupAccounts)
  )

注意事项 #

• 临时校验不想建索引的场景可改用全量遍历文档逻辑，但100万文档量级下执行时间会很长，仅作为应急方案不推荐长期使用
• 文档有分区、集合属性的，在cts:tuples、cts:search中增加对应的过滤条件，可进一步压缩查询耗时

内容的提问来源于stack exchange，提问作者Sam