Perl环境下MongoDB查询dupdated<lastmod超时问题排查求助

问题背景 #

示例MongoDB文档 #

{
  "_id": {
    "$oid": "REDACTED"
  },
  "created": {
    "$date": {
      "$numberLong": "1671723637000"
    }
  },
  "priority": "1.0",
  "dupdated": {
    "$date": {
      "$numberLong": "1671727613000"
    }
  },
  "lastmod": {
    "$date": {
      "$numberLong": "1671758097000"
    }
  }
}

需求与问题 #

需要查询所有dupdated字段值小于lastmod的记录，使用Perl开发。当前使用$expr+$lt的写法查询超时，但将$lt替换为$gt时查询正常。

当前Perl代码 #

my $object;
$object->{'$expr'}->{'$lt'}[0] = '$dupdated'; # Field you want to query against.
$object->{'$expr'}->{'$lt'}[1] = '$lastmod';
my $json = to_json($object);
my @datas = $property->find($object, {projection => {data => 0}})->sort({'dupdated' => 1})->limit(1000)->all();

已创建的复合索引 #

• 索引1：dupdated_1_lastmod_1（复合正向索引，大小20.9MB）
• 索引2：dupdated_-1_lastmod_-1（复合反向索引，大小11.2MB）

解决思路 #

1. 验证索引是否被实际使用 #

用explain()分析查询计划，确认MongoDB是否选择了索引而非全表扫描：

my $explain_result = $property->find($object, {projection => {data => 0}})
    ->sort({'dupdated' => 1})
    ->limit(1000)
    ->explain('executionStats');
print to_json($explain_result, {pretty => 1});

重点查看executionStats.totalDocsExamined（若数值接近总文档数则为全表扫描）和queryPlanner.winningPlan.inputStage.indexName（确认是否命中创建的索引）。

2. 强制指定索引 #

如果查询计划未自动选择索引，可通过hint()强制使用目标索引：

# 尝试正向复合索引
my @datas = $property->find($object, {projection => {data => 0}})
    ->hint('dupdated_1_lastmod_1')
    ->sort({'dupdated' => 1})
    ->limit(1000)
    ->all();

# 或尝试反向复合索引
my @datas = $property->find($object, {projection => {data => 0}})
    ->hint('dupdated_-1_lastmod_-1')
    ->sort({'dupdated' => 1})
    ->limit(1000)
    ->all();

3. 创建适配查询的新索引 #

当前的索引是dupdated在前、lastmod在后，但查询是dupdated < lastmod，属于跨字段的反向比较。尝试创建以lastmod为前缀的复合索引：

// 在MongoDB shell中执行
db.collection.createIndex({lastmod: 1, dupdated: 1})

这种索引结构更适配lastmod > dupdated（等价于dupdated < lastmod）的比较逻辑，可能让查询更快命中索引。

4. 排查数据分布影响 #

如果dupdated < lastmod的记录占总文档数比例过高（比如超过30%），MongoDB会认为全表扫描比索引查询更高效，从而放弃索引。此时可以：

• 若业务允许，缩小查询范围（比如增加时间范围过滤，如dupdated在某个时间段内），降低符合条件的记录占比，让索引重新生效。
• 强制使用索引（参考思路2），强制MongoDB走索引查询。

5. 优化Perl查询写法 #

将当前的哈希赋值写法改为更标准的$expr数组语法，避免潜在的语法问题：

my $object = {
    '$expr' => {
        '$lt' => ['$dupdated', '$lastmod']
    }
};
my @datas = $property->find($object, {projection => {data => 0}})
    ->sort({'dupdated' => 1})
    ->limit(1000)
    ->all();

内容的提问来源于stack exchange，提问作者VGP