升级MarkLogic至11.3后SPARQL查询性能严重退化求助

问题概述 #

我们将MarkLogic集群从10.0-6.1版本升级至11.3版本后，原本性能良好的SPARQL查询出现严重性能退化：

• 升级前（MarkLogic 10.0-6.1），典型查询耗时约2秒
• 升级后（MarkLogic 11.3），同一查询耗时增至58秒甚至更久

我们的知识图谱严重依赖语义三元组和SPARQL，性能退化已对应用造成重大影响。

涉事查询代码 #

let $query :=
"PREFIX skos: <http://www.w3.org/2004/02/skos/core#> 
PREFIX xsd: <http://www.w3.org/2001/XMLSchema#>
PREFIX cabiontology: <https://id.cabi.org/cabiontology/>
PREFIX compendium: <https://id..org/compendiumOntology/>
PREFIX dbProject: <https://id..org/cabt_dev/>

SELECT DISTINCT 
?pestDatasheetId 
?pestPrefLabel 
?prefCommonName 
(IF(?filterText != '', ?matched, '') as ?matchedText) 
(IF(BOUND(?compDomain), ?compDomain,
    IF(str(?phylumPrefLabel) != '', ?phylumPrefLabel,
       IF(str(?domainPrefLabel) != '', ?domainPrefLabel, 'No data'))) as ?pestType)
FROM <http://marklogic.com/semantics#default-graph>
WHERE
{
  # Filtering for pests with the given type and labels
  BIND('ash dieback' as ?filterText)
  
  ?type skos:prefLabel ?typeLabel.
  FILTER(?typeLabel IN ('Pest'@en-gb))
  
  ?pestConceptUri compendium:datasheetType ?type.
  ?pestConceptUri skos:prefLabel ?pestPrefLabel.
  FILTER(lang(?pestPrefLabel) = 'en-gb')
  ?pestConceptUri ontology:compendiumDatasheetAt ?pestDatasheetId.
  
  OPTIONAL {
    ?pestConceptUri ontology:prefCommonName ?prefCommonName.
    FILTER(lang(?prefCommonName) = 'en-gb')
  }
  OPTIONAL {
    ?pestConceptUri skos:altLabel ?pestAltLabel.
  }
  
  FILTER(contains(lcase(?pestPrefLabel), ?filterText) 
         || contains(lcase(?prefCommonName), ?filterText)
         || contains(lcase(?pestAltLabel), ?filterText))
  
  OPTIONAL {
    ?pestConceptUri compendium:taxonRank-Domain ?compDomain
    FILTER(?compDomain = 'Diseases of unknown aetiology')
  }
  
  OPTIONAL {
    ?pestConceptUri skos:broader* ?domainNode.
    ?domainNode ontology:taxonRank dbProject:taxaDomain.
    ?domainNode skos:prefLabel ?domainPrefLabel.
    FILTER(lang(?domainPrefLabel) = 'en-gb')
  }
  OPTIONAL {
    ?pestConceptUri skos:broader* ?phylumNode.
    ?phylumNode ontology:taxonRank dbProject:taxaPhylum.
    ?phylumNode skos:prefLabel ?phylumPrefLabel.
    FILTER(lang(?phylumPrefLabel) = 'en-gb')
  }
  
  BIND(IF(contains(lcase(?pestPrefLabel), ?filterText), ?pestPrefLabel,
       IF(contains(lcase(?prefCommonName), ?filterText), ?prefCommonName,
          IF(contains(lcase(?pestAltLabel), ?filterText), ?pestAltLabel, ''
       ))) as ?matched)
}
ORDER BY ?pestPrefLabel"
return sem:sparql($query)

已排查内容 #

• 发布说明：查阅MarkLogic 11的Release Notes和Known Incompatibilities，未发现SPARQL或语义查询性能相关的变更说明
• 配置：除版本升级外，底层硬件和MarkLogic核心配置无重大变更
• 索引：三元组索引、范围索引及相关语义索引均保持升级前的启用状态
• 数据：数据集和查询逻辑在版本升级前后未发生变化

优化与排查建议 #

1. 对比执行计划差异
   使用sem:sparql-plan()生成查询的执行计划，分别在MarkLogic 10和11环境下对比，重点关注：

   • 是否出现全表扫描（未命中三元组索引）
   • skos:broader*递归路径查询的执行逻辑变化
   • 过滤条件的执行顺序是否被调整，导致大量数据被提前加载

2. 优化文本过滤逻辑
   原查询中使用contains(lcase(?xxx), ?filterText)做模糊匹配，可尝试：

   • 启用三元组的全文索引，将模糊匹配替换为SPARQL全文查询语法，利用索引加速匹配
   • 调整查询逻辑，优先过滤匹配filterText的标签三元组，再关联pestConceptUri，减少后续需要处理的数据集规模

3. 优化OPTIONAL子句与递归查询

   • 针对skos:broader*递归查询，若业务允许，可限制递归深度（如skos:broader{1,3}），避免无限制遍历层级
   • 预计算并存储pestConceptUri对应的domainPrefLabel和phylumPrefLabel，将递归查询改为直接关联预计算的三元组，减少实时递归开销

4. 重新验证索引有效性
   虽然索引配置未变，但MarkLogic 11对索引的使用逻辑可能有调整：

   • 检查带语言标签的字符串（如skos:prefLabel@en-gb）是否配置了对应的语言范围索引
   • 确认semantic triple的快速过滤索引、位置索引是否正常生效
   • 尝试重建语义索引，排除升级过程中索引损坏的可能

5. 调整查询结构

   • 移除不必要的DISTINCT：若数据本身不会产生重复结果，可去掉SELECT DISTINCT以减少排序去重的开销；若必须保留，可通过调整查询逻辑（如提前去重）降低开销
   • 调整变量绑定与过滤顺序：将BIND('ash dieback' as ?filterText)与过滤条件前置，让查询引擎更早执行数据过滤

6. 补丁升级与官方支持

   • 检查MarkLogic 11的后续补丁版本（如11.3.x），确认是否有修复SPARQL性能退化的相关补丁
   • 若上述排查无效，可提交案例至MarkLogic官方支持，获取针对性的技术分析

7. 缓存与内存配置调优

   • 检查MarkLogic 11的语义缓存（semantic cache）、查询缓存配置，确保内存分配足够支撑语义查询的缓存需求
   • 调整集群的内存分配比例，优先保障语义查询相关组件的资源使用

内容的提问来源于stack exchange，提问作者marklogic_coder