在MarkLogic Data Hub中使用cts查询返回JSON属性路径组合的去重值

嗨，我来帮你搞定这个问题！你想要从200K+文档里获取name和location.state.code组合的唯一值，之前用cts.jsonPropertyScope()返回整个文档确实没找对方法——它是用来限定查询范围的，不是专门提取特定属性组合的工具。

这里有个完美适配你需求的方案，用MarkLogic的cts.valueTuples()函数就能轻松实现：

基础实现：返回去重的属性组合元组 #

这个函数可以直接返回多个属性组合的唯一值，代码如下：

cts.valueTuples(
  (
    cts.jsonPropertyReference("name"),
    cts.jsonPropertyReference("location", "state", "code")
  ),
  ("distinct")
)

执行后会得到类似这样的结果：

("Bentley University", "MA")
("Example College", "NY")
...

每个结果都是一个包含name和对应州代码的二元组，而且已经自动去重了。

可选：将组合转为字符串格式 #

如果你需要把两个值拼成一个字符串（比如方便后续在Data Hub里处理），可以用循环结合fn:string-join()来处理：

for $tuple in cts.valueTuples(
  (
    cts.jsonPropertyReference("name"),
    cts.jsonPropertyReference("location", "state", "code")
  ),
  ("distinct")
)
return fn:string-join($tuple, "|")

这样返回的结果就是类似Bentley University|MA的字符串。

性能优化提醒 #

因为你的文档量很大，一定要给name和location.state.code这两个路径配置字符串范围索引！没有索引的话，查询会触发全表扫描，速度会非常慢。配置索引的方式是在MarkLogic管理界面的数据库设置里，添加对应的JSON属性路径范围索引（类型选字符串即可）。

可选：过滤空值组合 #

如果有些文档里name或者州代码可能为null，你可以添加过滤条件排除这些无效组合：

cts.valueTuples(
  (
    cts.jsonPropertyReference("name"),
    cts.jsonPropertyReference("location", "state", "code")
  ),
  ("distinct"),
  cts.andQuery((
    cts.jsonPropertyValueQuery("name", "", "not"),
    cts.jsonPropertyValueQuery("location/state/code", "", "not")
  ))
)

这样就只会返回两个属性都有有效值的组合了。

备注：内容来源于stack exchange，提问作者Abhai Raj Llewellyn