如何编写Node.js查询实现MongoDB去重及修复现有脚本语法错误

一、现有脚本错误说明 #

你遇到的报错均为语法规则问题，具体错误点如下：

• $set 内部 'Match':'Y' 结尾误用分号：JavaScript对象的键值对结尾只能用逗号或直接闭合，不能使用分号，对应你收到的第2、3条报错。
• arrayFilters 标识符未与更新字段绑定：你定义了arrayFilters中的t匹配规则，但$set中没有指定要更新数组中匹配t规则的元素，正确格式为数组字段.$[t].目标字段，对应你收到的第1条报错。
• 现有脚本为Mongo Shell语法，无法直接在Node.js中运行：Node.js环境需要先通过mongodb驱动连接数据库，不能直接调用全局db对象。

二、需求一：匹配更新字段的Node.js完整实现 #

先执行npm i mongodb安装MongoDB Node.js驱动，再使用以下代码：

const { MongoClient } = require('mongodb');

// 替换为实际MongoDB连接地址
const MONGODB_URI = 'mongodb://localhost:27017';
// 替换为实际数据库名
const DB_NAME = '你的数据库名';

async function updateMatchTag() {
  const client = new MongoClient(MONGODB_URI);
  try {
    await client.connect();
    const db = client.db(DB_NAME);
    const policyCol = db.collection('Policy');
    const sampleCol = db.collection('PolicySample');

    const bulkOp = policyCol.initializeUnorderedBulkOp();
    const sampleRecords = await sampleCol.find().toArray();

    sampleRecords.forEach(doc => {
      const matchQuery = { Transaction: doc.POL_ID };
      const updateOp = {
        $set: {
          // 绑定arrayFilters的t标识符，指定更新Transaction数组下匹配规则的元素的Match字段
          'Transaction.$[t].Match': 'Y'
        }
      };
      const arrayFilters = [
        {
          't.ObjectNr': doc.ObjectID,
          't.Status': doc.StatusOld,
          't.Interest': doc.Interest,
          't.Subline': doc.Subline,
          't.Code': doc.Code
        }
      ];
      bulkOp.find(matchQuery).arrayFilters(arrayFilters).update(updateOp);
    });

    const execResult = await bulkOp.execute();
    console.log(`更新完成，共修改${execResult.modifiedCount}条记录`);
  } catch (err) {
    console.error('执行出错：', err);
  } finally {
    await client.close();
  }
}

updateMatchTag();

三、需求二：移除重复政策记录 #

以下代码可删除重复条目，默认按POL_ID作为政策唯一判定标识，若需按多字段组合判定重复，可修改$group阶段的_id字段：

async function removeDuplicatePolicies() {
  const client = new MongoClient(MONGODB_URI);
  try {
    await client.connect();
    const db = client.db(DB_NAME);
    const policyCol = db.collection('Policy');

    // 聚合查询找出重复记录
    const duplicateGroups = await policyCol.aggregate([
      {
        $group: {
          // 若需多字段组合判定重复，可改为 _id: {POL_ID: '$POL_ID', 字段2: '$字段2', ...}
          _id: '$POL_ID',
          allIds: { $push: '$_id' },
          count: { $sum: 1 }
        }
      },
      { $match: { count: { $gt: 1 } } }
    ]).toArray();

    if (duplicateGroups.length === 0) {
      console.log('无重复记录');
      return;
    }

    const bulkDelOp = policyCol.initializeUnorderedBulkOp();
    duplicateGroups.forEach(group => {
      // 每组保留第一条记录，删除其余重复项，可自行调整保留规则
      const deleteIds = group.allIds.slice(1);
      bulkDelOp.find({ _id: { $in: deleteIds } }).delete();
    });

    const delResult = await bulkDelOp.execute();
    console.log(`删除完成，共移除${delResult.deletedCount}条重复记录`);
  } catch (err) {
    console.error('执行出错：', err);
  } finally {
    await client.close();
  }
}

removeDuplicatePolicies();

内容的提问来源于stack exchange，提问作者Rose