MarkLogic中如何统计带rest-reader读、rest-writer更新权限的文档总数
千万级文档权限统计实现方案
千万级数据量下别搞逐文档遍历校验权限的慢操作,直接用MarkLogic内置的权限索引跑查询,全程走索引不会卡集群,具体做法如下:
具体实现
- 单独构造两个权限匹配条件,分别对应本次批量加的两个权限:rest-reader的read权限、rest-writer的update权限
- 把两个条件用
cts:and-query拼起来,要求文档同时满足两个权限要求 - 用
xdmp:estimate直接读索引的统计值,别把全量匹配结果拉出来占内存
可直接跑的XQuery代码
xquery version "1.0-ml"; let $reader-rule := cts:permission-query("rest-reader", "read") let $writer-rule := cts:permission-query("rest-writer", "update") let $match-all-rule := cts:and-query(($reader-rule, $writer-rule)) return xdmp:estimate(cts:search(doc(), $match-all-rule))
实际跑的时候要注意的坑
- 别用
count(cts:search(...))的写法:千万级的匹配结果如果走count,会把所有匹配的URI都拉出来遍历,要么跑超时要么占满内存;xdmp:estimate是直接读索引里的计数值,通常百毫秒就能出结果。 - 想核对本次CORB操作的效果的话,直接在查询规则里加你之前的目标集合条件就行,比如给
$match-all-rule补一个cts:collection-query("你之前操作的目标集合名"),统计范围就和你之前批量操作的范围完全对齐,不会把库里面本来就有这俩权限的老文档算进去。 - 跑之前花1分钟确认下数据库的权限索引是开着的:正常生产库默认都会开,要是关了的话这个查询会触发全量文档扫描,拖慢整个集群。
内容的提问来源于stack exchange,提问作者SinghVK
相关产品推荐
相关产品推荐

