MarkLogic任务服务器仅单线程运行，如何利用全部16线程处理30万文档查询？

原代码的核心问题 #

你的代码存在两个关键问题导致仅用到1个线程：

1. 每个通过xdmp:spawn-function()启动的异步任务，都在遍历全部30万条$input数据，相当于重复执行300次全量查询，完全没做数据拆分，线程都在做重复工作，无法有效利用多线程。
2. 未配置并发执行选项，MarkLogic默认不会自动拉满任务服务器线程。

修改方案与代码 #

以下是修正后的代码，会正确拆分数据批次，并配置并发选项以利用全部16个线程：

xquery version "1.0-ml";
import module namespace sem = "http://marklogic.com/semantics" at "/MarkLogic/semantics.xqy";
import module namespace entity="http://marklogic.com/entity" 
    at "/MarkLogic/entity.xqy";

declare variable $input := sem:sparql-values(
"
// 获取300,000份文档 
", map:map());

let $batch-size := 1000
let $input-size := fn:count($input)
let $num-batches := xs:int(math:ceil($input-size div $batch-size ))
// 匹配服务器最大线程数设置并发上限
let $max-concurrent := 16

let $result :=
   for $batch-num in 1 to $num-batches
   let $start-pos := (($batch-num - 1) * $batch-size) + 1
   let $end-pos := fn:min(($batch-num * $batch-size), $input-size)
   // 拆分当前批次的数据
   let $batch-input := fn:subsequence($input, $start-pos, $end-pos)
   return
    xdmp:spawn-function
    (
    function() {
     // 仅处理当前批次的数据
     for $each in $batch-input
     return terms // 搜索特定术语   
    },
    <options xmlns="xdmp:eval">
      <result>true</result>
      <!-- 只读查询用read-only模式更高效，无需update事务 -->
      <transaction-mode>read-only</transaction-mode>
      <!-- 指定最大并发数，匹配服务器线程数 -->
      <max-parallel>{$max-concurrent}</max-parallel>
    </options>)
return ($result)

关键优化点说明 #

• 数据拆分：用fn:subsequence()将$input拆分为多个小批次，每个异步任务仅处理对应批次的数据，避免重复计算，让每个线程处理不同的任务单元。
• 并发配置：通过<max-parallel>选项指定最大并发数，这里设置为16，和你的服务器最大线程数匹配，确保任务服务器充分利用资源。
• 事务模式优化：如果是只读操作，将事务模式改为read-only，比update-auto-commit更高效，减少事务开销。
• 批次计数修正：基于实际$input数量计算$num-batches作为循环次数，避免空批次或超出数据范围的情况。

内容的提问来源于stack exchange，提问作者Sally Manasrah