删除重复行触发超时错误，如何优化Google Apps Script规避运行限制？

我有一个数据量庞大的表格，使用以下Google Apps Script基于B列删除重复行，但因数据过多遇到超时错误。请问如何修改脚本以绕过Google Apps Script的运行限制？

原脚本代码：

function deleteDuplicate() {

   var sheetName = "1hr Data"; // Please set the sheet name.
   var sh = SpreadsheetApp.getActiveSpreadsheet().getSheetByName(sheetName);

  // get values of column C
  var col = sh.getDataRange().getValues().map(x => x[1]);

  // get indexes of duplicated values in the column
  var duplicates = col.map((x,i) => 
    col.slice(i+1).includes(x)? i+1 : '').filter(String); 

  // remove rows by the indexes
    duplicates.reverse().forEach(x => { sh.deleteRow(x); SpreadsheetApp.flush() });

}

你的脚本超时核心是两个问题：

1. 重复判断效率极低：col.slice(i+1).includes(x)会对每个元素遍历后续所有数据，数据量大时是O(n²)的时间复杂度，直接拖垮性能。
2. 逐行操作太耗IO：deleteRow和SpreadsheetApp.flush()都是和表格交互的慢操作，循环执行会触发大量IO请求，很容易触发超时限制。

下面是优化后的脚本，改用批量读取-去重-批量写入的思路，把IO操作压缩到最少：

function deleteDuplicatesOptimized() {
  const sheetName = "1hr Data";
  const sheet = SpreadsheetApp.getActiveSpreadsheet().getSheetByName(sheetName);
  const allData = sheet.getDataRange().getValues();
  
  // 用Set记录B列已出现的值，只保留首次出现的行
  const seenBValues = new Set();
  const uniqueRows = allData.filter(row => {
    const bColumnValue = row[1]; // B列对应数组索引1（A列是0）
    if (seenBValues.has(bColumnValue)) {
      return false; // 重复行，过滤掉
    }
    seenBValues.add(bColumnValue);
    return true; // 首次出现的行，保留
  });
  
  // 清空原表格内容，写入去重后的数据
  sheet.clearContents();
  sheet.getRange(1, 1, uniqueRows.length, uniqueRows[0].length).setValues(uniqueRows);
}

额外优化细节 #

• 如果表格有格式（比如单元格颜色、字体）需要保留，不要用clearContents()，改用批量删除多余行：

  // 在得到uniqueRows之后执行：
  const totalRows = sheet.getLastRow();
  const excessRows = totalRows - uniqueRows.length;
  if (excessRows > 0) {
    // 从去重后的数据下一行开始，删除所有多余行
    sheet.deleteRows(uniqueRows.length + 1, excessRows);
  }
  // 覆盖写入去重数据（保留原有格式）
  sheet.getRange(1, 1, uniqueRows.length, uniqueRows[0].length).setValues(uniqueRows);
  

• 若数据量超过10万行，这个方案依然能正常运行——因为全程只有2次IO操作（读取所有数据、写入去重数据），远低于Google Apps Script的限制。
• 完全不需要SpreadsheetApp.flush()，批量操作会自动一次性更新表格，强制刷新只会浪费时间。

内容的提问来源于stack exchange，提问作者Shabnum Zaidi