Node.js批量插入数据时异步重复创建用户的解决方法

嘿，我明白你遇到的麻烦了——Node.js的异步特性确实容易让新手踩坑，尤其是在循环里处理数据库操作的时候。先理清楚问题根源，再给你几个靠谱的解决方案：

问题回顾 #

你的考勤数据是这样的：

[
  {'name': 'Lipika', 'monday': 1},
  {'name': 'Ram', 'monday': 0},
  {'name': 'Lipika', 'tuesday': 1},
  {'name': 'Ram', 'tuesday': 0}
]

需求是先检查User集合里有没有对应的用户，没有就创建，然后插入Attendance数据。但原代码因为异步回调的并发执行，导致Lipika和Ram被重复创建了两次——当第一个Lipika的创建操作还没写完数据库时，第二个Lipika的查询已经开始了，这时候数据库里还没这条记录，所以又触发了一次创建。

解决方案1：先去重用户，批量处理（推荐） #

先把数据里的用户名提取出去重，确保每个用户只被检查/创建一次，再批量插入考勤数据。用async/await可以让代码逻辑更清晰，避免回调嵌套：

// 你的原始考勤数据
const attendanceData = [
  {'name': 'Lipika', 'monday': 1},
  {'name': 'Ram', 'monday': 0},
  {'name': 'Lipika', 'tuesday': 1},
  {'name': 'Ram', 'tuesday': 0}
];

// 提取并去重用户名
const uniqueUserNames = [...new Set(attendanceData.map(item => item.name))];

// 异步处理函数
async function processAttendance() {
  try {
    // 先处理所有用户：不存在则创建，存在则跳过（原子操作）
    for (const name of uniqueUserNames) {
      await dbModel.User.findOneAndUpdate(
        { name: name }, // 查询条件
        { name: name }, // 要插入/更新的字段
        { upsert: true, new: true } // upsert=true表示不存在就创建
      );
    }

    // 批量转换考勤数据为Attendance模型需要的格式
    const attendanceEntries = attendanceData.map(item => ({
      userName: item.name,
      ...(item.monday && { monday: item.monday }),
      ...(item.tuesday && { tuesday: item.tuesday })
      // 这里可以根据你的Attendance模型添加其他字段
    }));

    // 批量插入考勤数据
    await dbModel.Attendance.insertMany(attendanceEntries);
    console.log('所有考勤数据处理完成！');
  } catch (error) {
    console.error('处理过程出错:', error);
  }
}

// 执行函数
processAttendance();

解决方案2：优化单条数据处理，串行执行 #

如果不想提前去重，也可以修改你的checkUser函数，用数据库的原子操作避免重复创建，同时用for...of循环让每个操作串行执行：

// 优化后的checkUser函数：用findOneAndUpdate做原子操作
async function ensureUserExists(name) {
  // upsert=true 保证即使并发调用，数据库也只会创建一次该用户
  const user = await dbModel.User.findOneAndUpdate(
    { name: name },
    { name: name },
    { upsert: true, new: true, runValidators: true }
  );
  return user;
}

// 串行处理每条考勤数据
async function processEachEntry() {
  try {
    for (const entry of attendanceData) {
      // 先确保用户存在
      const user = await ensureUserExists(entry.name);
      // 插入考勤数据（建议用用户ID关联，而不是用户名）
      await dbModel.Attendance.create({
        userId: user._id,
        ...entry
      });
    }
    console.log('单条处理完成！');
  } catch (error) {
    console.error('处理出错:', error);
  }
}

processEachEntry();

原代码问题分析 #

1. 变量作用域问题：你用了var key in row，var是函数级作用域，导致异步回调里的name可能出现变量泄漏的情况；换成let或者const+for...of可以避免。
2. 异步并发问题：循环会立刻触发所有checkUser调用，多个异步操作同时执行，第一个用户的创建还没完成，第二个查询就已经开始了，这时候数据库里还没有该用户，所以重复创建。

用async/await+串行执行，或者用findOneAndUpdate的原子操作，都能解决这个问题。

内容的提问来源于stack exchange，提问作者semi_dolla