如何用Google Apps Script从JavaScript变量的datalayer中提取ID

你采用字符串正则匹配的思路完全可行，Google Apps Script无法直接执行目标页面的JavaScript代码，直接从原始HTML提取datalayer内容是效率最高的实现方案。

完整可运行代码 #

function extractProductIdFromDatalayer() {
  const targetUrl = "https://www.vitalcountry.cz/erythritol-mouckovy/";
  // 发起请求获取页面原始内容，添加模拟浏览器UA避免被网站拦截
  const fetchRes = UrlFetchApp.fetch(targetUrl, {
    muteHttpExceptions: true,
    headers: {
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
    }
  });
  const rawHtml = fetchRes.getContentText("utf-8");

  // 匹配所有dataLayer.push的内容块，[\s\S]支持匹配换行符
  const datalayerReg = /dataLayer\.push\(([\s\S]*?)\);/g;
  let matchResult;
  let targetId = null;

  while ((matchResult = datalayerReg.exec(rawHtml)) !== null) {
    try {
      // 将JS对象格式转为合法JSON：替换单引号为双引号，去除尾逗号
      const formattedJsonStr = matchResult[1]
        .replace(/'/g, '"')
        .replace(/,\s*([\]}])/g, "$1");
      const datalayerItem = JSON.parse(formattedJsonStr);
      // 匹配存在product_id的节点，可根据实际字段名调整
      if (datalayerItem.product_id) {
        targetId = datalayerItem.product_id;
        break;
      }
    } catch (e) {
      // 跳过格式不匹配的datalayer块
      continue;
    }
  }

  console.log("提取到的ID值为：" + targetId);
  return targetId;
}

常见失败原因排查 #

• 正则未兼容换行场景：如果使用.进行匹配，默认无法匹配换行符，换用[\s\S]可覆盖所有字符类型
• 请求被网站拦截：GAS默认的请求UA会被部分反爬策略拦截，添加浏览器UA可解决该问题
• JSON解析失败：页面中datalayer是JS对象格式，存在单引号、尾逗号等不符合JSON规范的语法，必须先做格式转换才能正常解析
• 匹配块错误：datalayer会多次调用push方法写入数据，要遍历所有push块找到你需要的ID对应的节点

内容的提问来源于stack exchange，提问作者David Sugar