Rails5.2+Mongoid6.4下MongoDB聚合CursorNotFound错误排查与解决

1. CursorNotFound错误的触发原因 #

这个错误本质是MongoDB的聚合游标在闲置超过默认10秒超时时间后被服务器主动关闭。不管是聚合操作本身执行耗时太长，还是程序拿到游标后没有及时读取结果，都会触发这个错误。结合你数据量逐年增长的情况，更可能是聚合操作的整体执行时间突破了默认超时阈值，导致游标提前失效。

2. 调整游标超时设置 #

在Ruby MongoDB驱动（包括Mongoid）中，可以通过给aggregate方法传入cursor参数来修改超时规则：

方式一：设置永久不超时（谨慎使用） #

这种方式会让游标一直存在，直到主动关闭，容易造成服务器资源泄漏，仅适合临时调试：

Myclass.collection.aggregate([
  # 你的聚合阶段代码
], cursor: { no_timeout: true }).to_a.first

方式二：延长最大执行时间（推荐） #

通过maxTimeMS指定聚合操作允许的最长执行时间（单位：毫秒），比如设置为60秒：

Myclass.collection.aggregate([
  # 你的聚合阶段代码
], cursor: { maxTimeMS: 60000 }).to_a.first

聚合操作优化建议 #

1. 合并多个$match阶段 #

你当前把多个过滤条件拆成了独立的$match阶段，虽然MongoDB会自动合并，但手动合并能减少阶段数，让过滤逻辑更清晰，同时确保MongoDB尽早过滤无关数据：

# 合并后的单个$match阶段
{ '$match' => {
  'meta_info.store_id' => store_id_string,
  'meta_info.invalid' => { '$in': [nil, false] },
  'test_participation' => false,
  'exit_status' => 'finished',
  # 直接整合datehash中的日期过滤条件
  **datehash['$match']
} }

2. 创建针对性复合索引 #

针对$match中的查询字段创建复合索引，能大幅提升过滤阶段的速度：

# 在Myclass模型中添加索引
index({
  'meta_info.store_id' => 1,
  'exit_status' => 1,
  'test_participation' => 1,
  'meta_info.invalid' => 1,
  # 补充datehash中用到的日期字段，比如'meta_info.created_at' => 1
})

创建索引后，MongoDB可以直接通过索引定位符合条件的文档，避免全表扫描。

3. 提前过滤数组元素 #

当前先$unwind整个answers数组再过滤特定question_id，会处理大量无关数据。可以先通过$filter过滤数组，再执行$unwind：

# 替换原有的$unwind和后续$match阶段
{ '$project' => {
  'answers' => {
    '$filter' => {
      'input' => '$answers',
      'as' => 'ans',
      'cond' => { '$eq' => ['$$ans.question_id', q.id.to_i] }
    }
  }
} },
{ '$unwind' => '$answers' },

这样能大幅减少$unwind后需要处理的数据量。

4. 简化数据投影 #

$project阶段只保留需要的字段即可，当前你只需要answers.data.value，可以在投影阶段进一步精简：

{ '$project' => {
  'value' => '$answers.data.value'
} },

后续$group阶段直接用'$value'即可，减少数据传输量。

内容的提问来源于stack exchange，提问作者MDickten