如何从MarkLogic数据库移除重复URI及通过片段ID查找文档

1. 通过片段ID查找对应文档URI #

你可以使用MarkLogic内置的查询函数，根据片段ID和Forest ID定位对应的文档URI。

方式1：直接通过片段ID查询 #

先获取目标Forest的ID，再用xdmp:uri-from-fragment()关联片段ID与URI：

let $fragment-id := 119560892619185780771
let $forest-legacy-1 := xdmp:forest("legacy-1")
let $forest-legacy-2 := xdmp:forest("legacy-2")
return (
  "legacy-1中的对应URI: " || xdmp:uri-from-fragment($fragment-id, $forest-legacy-1),
  "legacy-2中的对应URI: " || xdmp:uri-from-fragment($fragment-id, $forest-legacy-2)
)

执行后会返回两个Forest中该片段ID对应的URI，通常两者一致，即为重复的目标URI。

方式2：批量查找两个Forest的所有重复URI #

若需排查所有重复项，可遍历两个Forest的文档URI并对比：

let $forest-1 := xdmp:forest("legacy-1")
let $forest-2 := xdmp:forest("legacy-2")
let $uris-1 := xdmp:directory("/", "infinity", $forest-1)
let $uris-2 := xdmp:directory("/", "infinity", $forest-2)
return $uris-1[. = $uris-2]

该查询会列出同时存在于两个Forest中的所有重复URI。

2. 移除重复URI的文档 #

删除重复项时需保留一个Forest的副本，删除另一个Forest中的重复文档。

方式1：单个重复URI删除 #

假设已确认重复URI为/docs/duplicate.xml，指定从目标Forest删除：

XQuery版本：

xdmp:document-delete("/docs/duplicate.xml", xdmp:forest("legacy-2"))

Server-Side JavaScript版本：

xdmp.documentDelete("/docs/duplicate.xml", { forests: xdmp.forest("legacy-2") });

方式2：批量删除重复项 #

若存在大量重复URI，可批量处理（以保留legacy-1的文档，删除legacy-2中的重复项为例）：

let $keep-forest := xdmp:forest("legacy-1")
let $delete-forest := xdmp:forest("legacy-2")
-- 先获取所有重复URI
let $duplicate-uris := 
  let $uris-keep := xdmp:directory("/", "infinity", $keep-forest)
  let $uris-delete := xdmp:directory("/", "infinity", $delete-forest)
  return $uris-delete[. = $uris-keep]
-- 执行删除（执行前可先单独return $duplicate-uris确认列表）
return xdmp:document-delete($duplicate-uris, $delete-forest)

注意事项 #

• 执行删除前务必备份数据库，或先在测试环境验证查询结果，避免误删。
• 确保执行操作的用户拥有文档删除权限。
• 删除完成后重新执行Forest重平衡，确认错误已解决。

内容的提问来源于stack exchange，提问作者Aviator