MarkLogic Optic API多列Exists Join性能低下问题及优化咨询

需求 #

筛选出同一id1和id2同时包含Primary和Reported类型的数据。

现有实现 #

使用MarkLogic Optic API的Exists Join，对id1和id2两列进行关联。

性能问题 #

数据量超过5000条时，执行时间超2秒；仅单关联id1时，5000条数据仅需0.3秒。

咨询要点 #

• 性能差异的原因
• 优化方法
• 替代实现方案

测试数据 #

var items = [
    {
      "id1": 241,
      "id2": 716,
      "type": "Primary"
    },
    {
      "id1": 241,
      "id2": 716,
      "type": "Reported"
    },
    {
      "id1": 477,
      "id2": 850,
      "type": "Reported"
    },
    {
      "id1": 563,
      "id2": 340,
      "type": "Primary"
    },
    {
      "id1": 649,
      "id2": 322,
      "type": "Reported"
    }];

现有实现代码 #

const op = require('/MarkLogic/optic');

var reportedItems = op.fromLiterals(items)
    .where(op.in(op.col('type'), 'Reported'))
    .select(['id1', 'id2'], 'reported');

var primaryItems = op.fromLiterals(items)
    .where(op.in(op.col('type'), 'Primary'))
    .select(['id1', 'id2'], 'primary')

primaryItems
    .existsJoin(reportedItems, [
        op.on(op.viewCol('primary', 'id1'),
            op.viewCol('reported', 'id1')),
        op.on(op.viewCol('primary', 'id2'),
            op.viewCol('reported', 'id2'))
    ])
    .select("id1")
    .result()
    .toArray()

性能差异原因 #

1. 复合键匹配复杂度更高：单关联id1时，Optic只需基于单个字段做等值匹配，哈希查找或索引定位的成本低；而同时关联id1+id2时，需要构建复合键的哈希结构，每条数据的匹配要同时校验两个字段，计算量和内存占用都会显著上升，数据量越大，差距越明显。
2. 索引利用率不足：如果仅为id1单独创建了索引，复合关联场景下无法直接复用该索引，只能做全表扫描或临时构建复合键哈希表；而单id1关联可以直接命中索引，速度自然快很多。
3. Exists Join执行逻辑损耗：Exists Join本身需要对右表做半连接校验，复合键场景下右表每条数据都要和左表的复合键逐一比对，比对次数远多于单键场景，导致耗时增加。

优化方法 #

1. 创建复合范围索引：针对id1和id2创建复合范围索引，让Optic API在关联时直接利用索引快速定位匹配数据，避免全表扫描。
2. 调整Join策略与顺序：如果reportedItems数据量远小于primaryItems，可以将小表作为左表，减少右表的匹配次数；也可以通过op.hint()指定优先使用哈希连接，提升匹配效率。
3. 精简数据投影：在select阶段只保留必要的字段，避免不必要的数据加载和传输，降低内存消耗。

替代实现方案 #

方案1：分组聚合筛选 #

通过分组统计同一id1+id2下的类型数量，筛选出同时包含两种类型的组合：

const op = require('/MarkLogic/optic');

op.fromLiterals(items)
  .groupBy(['id1', 'id2'], [op.count('typeCount', op.col('type'))])
  .where(op.eq(op.col('typeCount'), 2))
  .select(['id1'])
  .result()
  .toArray()

如果需要严格校验是Primary和Reported两种类型，可改用数组聚合后判断：

op.fromLiterals(items)
  .groupBy(['id1', 'id2'], [op.arrayAggregate('types', op.col('type'))])
  .where(op.and(
    op.in('Primary', op.col('types')),
    op.in('Reported', op.col('types'))
  ))
  .select(['id1'])
  .result()
  .toArray()

方案2：子查询替代Exists Join #

通过子查询直接判断是否存在对应类型的匹配数据：

const op = require('/MarkLogic/optic');

op.fromLiterals(items)
  .where(op.in(op.col('type'), 'Primary'))
  .where(
    op.exists(
      op.fromLiterals(items)
        .where(op.in(op.col('type'), 'Reported'))
        .where(op.eq(op.col('id1'), op.viewCol('main', 'id1')))
        .where(op.eq(op.col('id2'), op.viewCol('main', 'id2')))
    )
  )
  .select(['id1'])
  .result()
  .toArray()

内容的提问来源于stack exchange，提问作者Michal Sobanski