寻求替代IMPORTXML的谷歌表格自动网页抓取解决方案

问题概述 #

• 使用IMPORTXML公式时，即便限制调用次数、设置45天更新周期、用脚本硬编码数据，多工作表操作仍因日期重叠导致页面卡顿，单次调用超20次也会卡顿。
• 当前使用的公式：=IMPORTXML("https://yuyu-tei.jp/buy/ygo/card/20pp/10001","/html/body/main/div/div/div[2]/div[2]/div[1]/section[1]/div/div[2]/div/div[2]/div[1]/h4",1)
• 核心需求：从单元格读取唯一URL，自动抓取数据到表格，完全替代IMPORTXML公式。

替代脚本实现步骤 #

1. 打开脚本编辑器 #

在谷歌表格界面点击扩展程序 > Apps 脚本，进入脚本编辑页面。

2. 替换为以下可运行代码 #

function fetchCardData() {
  const ss = SpreadsheetApp.getActiveSpreadsheet();
  // 可修改为指定工作表名称，比如ss.getSheetByName("卡片数据")
  const sheet = ss.getActiveSheet();
  // 假设URL存放在A列，从第2行开始（可根据实际调整列和起始行）
  const urlRange = sheet.getRange("A2:A");
  const urls = urlRange.getValues().flat().filter(url => url !== "");
  // 结果写入B列，和URL行一一对应
  const resultRange = sheet.getRange("B2:B" + (urls.length + 1));
  const results = [];

  urls.forEach(url => {
    try {
      // 发起请求，开启异常静默避免小错误中断批量任务
      const response = UrlFetchApp.fetch(url, { muteHttpExceptions: true });
      if (response.getResponseCode() !== 200) {
        results.push(["请求失败"]);
        return;
      }
      const html = response.getContentText();
      const doc = XmlService.parse(html);
      // 沿用原IMPORTXML的XPath路径
      const xpath = "/html/body/main/div/div/div[2]/div[2]/div[1]/section[1]/div/div[2]/div/div[2]/div[1]/h4";
      const elements = XmlService.getNamespaceManager().getXPathResult(doc.getRootElement(), xpath, XmlService.XPathResultType.ANY_TYPE);
      
      let text = "";
      if (elements.hasNext()) {
        text = elements.next().getText();
      }
      results.push([text.trim() || "未找到目标数据"]);
    } catch (e) {
      results.push(["解析错误: " + e.message]);
    }
  });

  // 将结果批量写入表格
  resultRange.setValues(results);
}

3. 配置自动触发（可选） #

如果需要按45天周期自动更新：

• 在脚本编辑器中点击编辑 > 当前项目的触发器
• 添加新触发器，选择fetchCardData函数，触发事件选时间驱动，设置为每45天运行一次。

4. 快速使用方法 #

• 将需要抓取的URL依次填入A列（可修改代码中的列位置适配你的表格布局）
• 点击脚本编辑器中的运行按钮，完成授权后即可执行抓取，结果会自动写入B列
• 若固定使用某张工作表，修改代码中getSheetByName的参数为目标工作表名称即可

关键注意事项 #

• 谷歌Apps脚本有每日请求限额，避免短时间内批量请求大量URL导致被限制
• 若目标网站有反爬机制，可在UrlFetchApp.fetch的参数中添加请求头，示例：headers: { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" }
• 测试时先使用1-2个URL验证功能，确认正常后再批量运行

内容的提问来源于stack exchange，提问作者Jesse