You need to enable JavaScript to run this app.
最新活动
大模型
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

执行含$out的无返回结果mgo.Pipe时遇超时问题求助

解决mgo中带$out的聚合管道调用All()超时的问题

你猜的完全没错!这个超时问题的核心就是$out操作符的特性——它根本不会返回任何聚合结果,只是把处理完的数据写入你指定的集合"y"里。而你用的All(&result)方法是用来读取聚合返回的结果集的,这就导致mgo客户端一直傻等不存在的结果,最后超时也就不奇怪了。

给你两个实用的解决方案:

方案一:用One()方法并忽略结果

因为$out没有返回值,你可以调用One(),并且传入nil来跳过结果接收。这样客户端不会一直等待,执行完就会结束。代码示例:

pipeline := DB.C("x").Pipe(stages).AllowDiskUse()
err := pipeline.One(nil)
if err != nil {
    // 注意:mgo.ErrNotFound是正常情况,因为$out确实没返回数据
    if err != mgo.ErrNotFound {
        // 这里处理真正的错误,比如聚合阶段语法错、权限问题等
        log.Fatal(err)
    }
}

方案二:直接用Run()方法执行管道

Run()方法只负责把聚合命令发送给MongoDB服务器,不会尝试读取返回结果,完全适配$out这种无输出的操作。代码示例:

pipeline := DB.C("x").Pipe(stages).AllowDiskUse()
err := pipeline.Run(nil)
if err != nil {
    log.Fatal(err)
}

另外再提两个注意点:

  • $out会直接替换目标集合"y"(如果集合已存在),如果你需要增量更新而不是全量替换,MongoDB 4.2+版本可以改用$merge操作符。
  • 如果聚合本身处理的数据量很大,即使换了方法,服务器端的执行可能还是会耗时,这时候要检查你的聚合阶段有没有优化空间,比如给过滤阶段的字段加索引,拆分复杂的聚合步骤等。

内容的提问来源于stack exchange,提问作者sebastian

火山引擎 最新活动