Node.js下MongoDB驱动查询服务端执行快但客户端拉取耗时过高问题
问题原因
- 首先你用于参考执行时间的
explain结果和实际运行的查询并不匹配:explain对应的查询带有'spell.id': null、'metadata.0.spell_id': { $in: spellsIds }两个额外条件,和你实际执行的'spell.id': { $in: spellsIds }查询逻辑完全不同,35ms的服务端耗时没有参考价值,需要先给实际运行的查询做explain确认真实服务端执行时间。 - 服务端
explain统计的耗时仅包含查询执行、读取文档的时间,不包含网络传输开销、客户端BSON转JS对象的序列化开销,这两部分是2万多条数据拉取的主要耗时来源。23866条单条544字节的文档总大小约12.6MB,加上MongoDB协议开销,以及默认小批量拉取带来的多次往返RTT开销,会拉长总耗时。 - 你写的stream拉取代码存在严重bug:连续两次调用
q.stream()会创建两个独立的游标流,相当于发起了两次重复的查询请求,其中第一个流仅监听end事件不处理数据,第二个流处理数据,直接导致开销翻倍。 - 若你使用的是Mongoose驱动,默认会将返回的每一条数据包装为Mongoose Document实例,2万多个实例的创建会占用大量CPU时间,拉高耗时。
- MongoDB游标默认
batchSize较小,第一批次仅返回101条,后续每批次最多返回4MB数据,2万多条数据需要多次和服务端交互,额外增加了RTT开销。
优化方案
- 首先修正explain测试逻辑:给你实际执行的查询加
explain('executionStats'),确认真实的服务端执行耗时,排除服务端本身查询慢的问题。 - 修复stream代码的bug,复用同一个stream实例,示例代码如下:
const f = (q) => { const result = [] return new Promise((res, rej) => { const stream = q.stream() // 仅创建一次流 stream.on('end', () => res(result)) stream.on('data', d => result.push(d)) stream.on('error', rej) // 补充错误监听,避免未处理的异常 }) }
- 若使用Mongoose驱动,在find后添加
.lean()方法,直接返回普通JS对象,跳过Document实例化步骤,通常能减少30%以上的客户端处理耗时:
const q1 = this._ctx.signals.find({ user_id: user._id, 'spell.id': { $in: spellsIds } }).hint({ user_id: 1, 'spell.id': 1 }).lean()
- 调整游标
batchSize,减少和服务端的交互次数,根据总数据量设置为10000~25000即可:
const q1 = this._ctx.signals.find({ user_id: user._id, 'spell.id': { $in: spellsIds } }).hint({ user_id: 1, 'spell.id': 1 }).lean().batchSize(25000)
- 添加投影仅返回业务需要的字段,减少传输数据量和序列化开销,例如:
const q1 = this._ctx.signals.find({ user_id: user._id, 'spell.id': { $in: spellsIds } }, { requiredField1: 1, requiredField2: 1, _id: 1 }) // 仅返回需要的字段 .hint({ user_id: 1, 'spell.id': 1 }).lean().batchSize(25000)
- 如果拉取数据后需要做统计、过滤等处理,优先使用MongoDB聚合框架在服务端完成计算,再返回处理后的小数据集,避免拉取全量文档。
- 确认客户端和MongoDB服务端的网络延迟,尽量将服务部署在同一机房/可用区,避免跨公网或跨地域传输数据。
内容的提问来源于stack exchange,提问作者Vasyl Kharchenko
相关产品推荐
相关产品推荐

