Google Sheets网页抓取数据去重及更新功能实现技术问询

我看了你的代码和需求，核心问题在于原来的saveData是直接把Current Tax Leads的所有数据追加到Zapier Tax Leads，再事后去重——这种方式不仅效率低，还没法更新已存在行的指定列。咱们换个思路：用唯一标识（比如A列的ID/邮箱）匹配行，新增不存在的行，同时更新已存在行的H-O列。

下面是修改后的完整代码，我会逐部分解释：

function myFunction() {
  // 保持原有的数据抓取逻辑，把数据导入到Current Tax Leads的A1
  SpreadsheetApp.getActiveSheet().getRange('A1').setValue('=importdata("https://www.parsehub.com/api/v2/projects/tZOywrNXQ3Q4/last_ready_run/data?api_key=tn6CGEyTTVxE&format=csv")')
}

// 自定义菜单保持不变
function onOpen() {
  var ui = SpreadsheetApp.getUi();
  ui.createMenu('Custom Menu')
    .addItem('Save Data','saveData')
    .addToUi();
}

// 核心修改的saveData函数：新增唯一行 + 更新指定列
function saveData() {
  var ss = SpreadsheetApp.getActiveSpreadsheet();
  var targetSheet = ss.getSheetByName('Zapier Tax Leads'); // 目标存储表
  var sourceSheet = ss.getSheetByName('Current Tax Leads'); // 最新数据来源表
  
  // 获取目标表的所有数据，构建唯一标识映射（假设A列是唯一键，可根据实际修改）
  var targetData = targetSheet.getDataRange().getValues();
  var targetMap = new Map();
  
  // 跳过表头（如果第一行是表头），把每行的唯一标识和行号存起来
  for (var i = 1; i < targetData.length; i++) {
    var uniqueKey = targetData[i][0]; // A列索引是0，对应第一列
    if (uniqueKey) { // 跳过空行
      targetMap.set(uniqueKey, i + 1); // 行号是i+1，因为表格行从1开始
    }
  }
  
  // 获取来源表的数据（从第二行开始，跳过表头）
  var sourceData = sourceSheet.getRange(2, 1, sourceSheet.getLastRow() - 1, 33).getValues();
  
  // 遍历来源表的每一行
  sourceData.forEach(function(row) {
    var uniqueKey = row[0];
    if (!uniqueKey) return; // 跳过空的唯一键行
    
    if (targetMap.has(uniqueKey)) {
      // 行已存在：更新H-O列（对应索引7到14，因为列从0开始，H是第8列=索引7）
      var targetRowNum = targetMap.get(uniqueKey);
      var colsToUpdate = row.slice(7, 15); // 提取H-O列的数据
      targetSheet.getRange(targetRowNum, 8, 1, colsToUpdate.length).setValues([colsToUpdate]);
    } else {
      // 行不存在：追加到目标表末尾
      targetSheet.appendRow(row);
      // 更新映射，方便后续循环（如果有重复的来源行）
      targetMap.set(uniqueKey, targetSheet.getLastRow());
    }
  });
}

// 可选：如果需要手动去重历史数据，保留原函数但建议只运行一次
function removeDuplicates() {
  var sheet = SpreadsheetApp.getActive().getSheetByName('Zapier Tax Leads');
  var data = sheet.getDataRange().getValues();
  var newData = new Array();
  var seenKeys = new Set();
  
  for (var i = 0; i < data.length; i++) {
    var row = data[i];
    var uniqueKey = row[0];
    // 表头直接保留，非表头行检查唯一键
    if (i === 0 || !seenKeys.has(uniqueKey)) {
      newData.push(row);
      if (i !== 0) seenKeys.add(uniqueKey);
    }
  }
  
  sheet.clearContents();
  sheet.getRange(1, 1, newData.length, newData[0].length).setValues(newData);
}

关键修改说明： #

1. 唯一标识映射：用Map存储目标表中已存在的行的唯一键和行号，这样查找效率从O(n²)降到O(n)，处理大量数据更高效。
2. 新增/更新逻辑：
   • 如果来源行的唯一键已存在，直接定位到目标行，更新H-O列（索引7到14，对应表格的H到O列）。
   • 如果不存在，直接追加到目标表末尾。
3. 跳过表头：假设两张表的第一行都是表头，所以处理数据时从第二行开始，避免把表头当成数据处理。

使用注意： #

• 如果你的唯一标识不是A列，把代码里的row[0]改成对应列的索引（比如B列是row[1]）。
• 第一次运行前，建议先手动执行removeDuplicates清理目标表的历史重复数据，之后定时执行saveData就不会再产生重复，还能自动更新指定列。

内容的提问来源于stack exchange，提问作者Kristan Servidad