Node.js向MySQL插入数组数据防重复更新，能否仅通过JS实现？

1. 现有代码运行不符合预期的根源 #

你使用forEach遍历数组并在回调中执行异步操作，而forEach本身不会等待异步回调执行完成，所有数据的校验、写入请求会并发发起：

• 第二条chandler@friends.com和第三条同邮箱的数据几乎同时发起重复校验请求，此时第二条数据还未完成插入，两条校验请求返回的count均为0
• 两条数据都执行了插入逻辑，最终出现两条同邮箱的记录

2. 能否仅通过JavaScript部分实现该需求？ #

可以，无需依赖MySQL的独有特性，纯JS层即可实现预期效果，有两种常见实现思路：

思路1：提前对输入数据去重（推荐，性能更高） #

在操作数据库前，先通过JS对输入数组做预处理，保留每个邮箱最后一次出现的name值，处理后的数据本身不存在重复邮箱，后续操作不会出现重复插入问题。

思路2：将并行遍历改为串行执行 #

把不支持异步等待的forEach替换为for...of，确保前一条数据处理完成（插入/更新成功）后再处理下一条数据，避免并发校验导致的判断错误。

3. 修复后代码示例 #

第一步：纯JS预处理输入数据（去重） #

// 预处理输入数组，合并重复邮箱，保留最后出现的name
function processDuplicateData(data) {
  const emailMap = new Map()
  for (const person of data) {
    // 后续同邮箱的条目会自动覆盖之前的name值
    emailMap.set(person.email, person.name)
  }
  // 转回数组格式
  return Array.from(emailMap, ([email, name]) => ({email, name}))
}

第二步：修改主逻辑为串行执行 #

async function insertCustomer(data) {
  // 先预处理去重
  const uniqueData = processDuplicateData(data)
  try {
    for (const person of uniqueData) {
      const checkRes = await checkDuplicate(person.email)
      if (checkRes[0].count === 0) {
        await insert(person.email, person.name)
      } else {
        await update(person.email, person.name)
      }
    }
    // 所有操作完成后统一提交事务
    connection.commit()
    console.log('所有数据处理完成')
  } catch (error) {
    // 出错时回滚事务
    connection.rollback()
    console.error('处理失败:', error)
  }
}

额外优化建议 #

现有代码直接拼接SQL字符串存在SQL注入风险，建议改为参数化查询，示例如下：

// 修改checkDuplicate为参数化查询
checkDuplicate = (email) =>{
  // 用?作为占位符
  var sql = `SELECT count(*) as count from friends where email = ?`;
  return new Promise((resolve, reject)=>{
    // 第二个参数传入参数数组
    connection.query(sql, [email], (error, results)=>{
      if(error){
        return reject(error);
      }
      return resolve(results);
    });
  });
};

insert和update函数也可以按同样的方式修改为参数化查询。

内容的提问来源于stack exchange，提问作者Milind Modi