Node.js+Express+Mongoose不存在时批量创建唯一文档问题求解
问题根源
- 异步逻辑未等待:当前for循环不会等待
findOne的Promise执行完成,所有查询请求几乎同时发出,在任意一个查询返回结果判断是否要插入之前,重复ID的查询已经全部发出去了,最终导致多个判断都认为该ID不存在,触发多次插入。 - 原始数据重复未预处理:接口返回的
response.data中存在多条相同recipient.id的记录,本身就会触发多次重复查询和插入逻辑。 - 缺少数据库兜底约束:
UserSimple对应的集合没有给id字段加唯一索引,导致重复数据可以被插入。
解决方案
分三个层面处理,从根本上避免重复插入问题:
1. 数据库层加唯一索引兜底
首先在UserSimple的Schema定义中,给id字段添加唯一约束,从数据库层面禁止重复数据插入:
const userSimpleSchema = new mongoose.Schema({ id: { type: Number, // 替换为你实际的字段类型 unique: true, // 唯一约束 required: true }, // 其他字段定义... }) const UserSimple = mongoose.model('UserSimple', userSimpleSchema)
加了这个索引后,就算代码逻辑出问题,重复插入相同id的请求会直接被数据库拒绝,不会生成重复文档。
2. 先对原始数据去重
拿到接口返回的数据后,先按recipient.id去重,避免处理重复ID,减少无效操作:
// 拿到response.data后先去重,每个id仅保留一条记录 const uniqueRecipients = Array.from( new Map(response.data.map(session => [session.recipient.id, session.recipient])).values() )
3. 优化异步逻辑,批量操作提升效率
不要循环逐个查询插入,先一次性查询所有已存在的ID,再批量插入不存在的记录,性能更高逻辑也更清晰,不会出现异步竞态问题。优化后的完整路由代码:
router.post('/sessions', async function (req, res, next) { try { const config = { method: 'get', url: 'https://blabla', headers: { 'Accept': 'application/json;version=0.1', 'Accept-Language': 'fr', } }; const response = await axios(config); // 第一步:去重得到唯一的用户列表 const uniqueRecipients = Array.from( new Map(response.data.map(session => [session.recipient.id, session.recipient])).values() ) // 第二步:取出所有唯一ID const uniqueIds = uniqueRecipients.map(user => user.id) // 第三步:一次性查询所有已存在的ID const existUsers = await UserSimple.find({ id: { $in: uniqueIds } }, { id: 1 }) const existIds = new Set(existUsers.map(user => user.id)) // 第四步:过滤出不存在的用户,批量插入 const needInsertUsers = uniqueRecipients.filter(user => !existIds.has(user.id)) if (needInsertUsers.length > 0) { // 加ordered: false可避免个别插入失败中断其他正常插入 await UserSimple.insertMany(needInsertUsers, { ordered: false }) } res.status(200).json({ msg: '同步完成', insertedCount: needInsertUsers.length }) } catch (error) { console.log(error) res.status(500).json({ msg: '同步失败', error: error.message }) } });
如果需要单条处理也可以用MongoDB原子操作upsert,不需要手动判断是否存在,天然避免竞态问题:
// 单条upsert示例,不存在则插入,存在则不修改原有数据 await UserSimple.findOneAndUpdate( { id: user.id }, { $setOnInsert: user }, { upsert: true } )
内容的提问来源于stack exchange,提问作者Pdeuxa
相关产品推荐
相关产品推荐

