在Google Apps Script中用Cheerio抓取CBOE页面日期失败求助

问题根源 #

你用的选择器指向的是React动态渲染的元素，而UrlFetchApp抓取的是服务器返回的静态HTML源码，这份源码里根本不存在带Button__TextContainer-sc-1tdgwi0-1这类动态生成类名的元素，所以Cheerio自然找不到内容。

可行解决方案 #

1. 提取静态源码中的预加载日期数据 #

CBOE的页面会在静态HTML里嵌入初始化用的JSON数据或者直接包含日期文本，不需要依赖动态渲染。可以直接从源码里匹配日期字段：

const url = 'https://www.cboe.com/us/options/market_statistics/daily/';
var response = UrlFetchApp.fetch(url, {muteHttpExceptions: true}).getContentText();

// 从页面的初始化脚本中提取日期
const dateMatch = response.match(/"date":"([^"]+)"/);
if (dateMatch) {
  Logger.log('抓取到的日期：' + dateMatch[1]);
} else {
  // 备选方案：抓取页面顶部显示的日期文本（需根据页面实际结构调整选择器）
  const $ = Cheerio.load(response);
  const dateText = $('.cboe-page-header__date').text().trim();
  Logger.log(dateText);
}

2. 避免依赖动态类名 #

像Button__TextContainer-sc-1tdgwi0-1这种带随机后缀的类名是React打包时自动生成的，网站更新后大概率会变化，永远不要用这类选择器。优先使用语义化的类名、ID或者元素层级关系定位。

3. 复杂场景用浏览器渲染（进阶） #

如果必须获取完全动态渲染的内容，Google Apps Script本身不支持浏览器环境，需要借助Puppeteer部署在Cloud Run上，模拟浏览器加载页面后再抓取元素。不过这种方式复杂度较高，仅适合特殊场景。

注意事项 #

• 严格遵守CBOE的网站爬虫规则，控制请求频率，避免触发反爬机制导致IP被封禁。

内容的提问来源于stack exchange，提问作者ejooroo