JavaScript对象数组去重异常排查：多数据库重复检测问题

你遇到的重复条目问题主要来自两个核心逻辑漏洞，再加上代码里的几个小细节错误，咱们逐一拆解：

1. forEach遍历中修改原数组的致命问题 #

forEach是基于数组初始长度启动遍历的，当你在循环里执行fullArray = fullArray.filter(...)修改原数组引用时，后续的遍历依然会基于最初的fullArray版本继续执行——这会导致部分元素被重复检查，甚至出现逻辑混乱，最终生成重复的重复项。

2. 双向匹配导致冗余条目 #

比如处理item=A和comparison=B时，会把A加入dupes；等遍历到item=B时，又会和comparison=A比对，再次把B加入dupes，最终dupes里会出现A和B互相作为重复项的冗余内容。

3. 代码里的小bug #

• 大小写错误：item.LastName和comparison.LastName应该是item.lastName和comparison.lastName（JS是大小写敏感的）
• 语法错误：itemFullName.indexOf('Group')! > 0是无效写法，应该改为itemFullName.indexOf('Group') !== -1（indexOf找不到目标时返回-1）

修复后的代码示例 #

我调整了逻辑，用Set记录已处理的ID避免重复检查，同时不再直接修改原数组，逻辑更清晰稳定：

const processedIds = new Set();
const dupes = [];
const similarityThreshold = 0.89; // 抽成变量方便调整

fullArray.forEach(item => {
  // 跳过已处理过的元素
  if (processedIds.has(item.externalId)) return;

  const filtered = fullArray.filter(x => x.externalId !== item.externalId);
  
  filtered.forEach(comparison => {
    // 避免双向匹配，跳过已标记的对比项
    if (processedIds.has(comparison.externalId)) return;

    let emailSimilarity = 0;
    let phoneSimilarity = 0;
    let nameSimilarity = 0;

    // 邮箱相似度计算（增加trim避免空格干扰）
    if (item.email?.trim() && comparison.email?.trim()) {
      emailSimilarity = strcmp.jaro(item.email.trim(), comparison.email.trim());
    }

    // 电话相似度计算
    if (item.phone?.trim() && comparison.phone?.trim()) {
      phoneSimilarity = strcmp.jaro(item.phone.trim(), comparison.phone.trim());
    }

    // 姓名合并与相似度计算
    const itemFullName = `${item.firstName || ''} ${item.lastName || ''}`.trim();
    const comparisonFullName = `${comparison.firstName || ''} ${comparison.lastName || ''}`.trim();
    
    const hasGroupItem = itemFullName.indexOf('Group') !== -1;
    const hasGroupComparison = comparisonFullName.indexOf('Group') !== -1;
    
    if ((itemFullName && comparisonFullName) || (hasGroupItem && hasGroupComparison)) {
      nameSimilarity = strcmp.jaro(itemFullName, comparisonFullName);
    }

    // 检查是否达到相似度阈值
    const isDuplicate = emailSimilarity > similarityThreshold || 
                        phoneSimilarity > similarityThreshold || 
                        nameSimilarity > similarityThreshold;

    if (isDuplicate) {
      const dupesOutput = {
        ...item,
        similarName: nameSimilarity,
        similarEmail: emailSimilarity,
        similarPhone: phoneSimilarity,
        similarTo: comparison.externalId
      };
      dupes.push(dupesOutput);
      // 标记对比项为已处理，避免后续被遍历
      processedIds.add(comparison.externalId);
    }
  });
  
  // 标记当前元素为已处理
  processedIds.add(item.externalId);
});

// 若需要得到去重后的原数组，可执行此步
const uniqueFullArray = fullArray.filter(item => !processedIds.has(item.externalId));

关键改进点 #

• 用processedIds这个Set跟踪已处理元素，彻底解决重复检查和双向匹配的问题
• 不再直接修改原数组，而是最后统一过滤出唯一元素，逻辑更可控
• 修复了大小写和语法错误，增加trim()处理字符串，避免空格干扰相似度计算
• 将相似度阈值抽成变量，方便后续调整

这样处理后，dupes数组里就不会出现重复条目，整体逻辑也更稳定可靠。

内容的提问来源于stack exchange，提问作者Chris Rutherford