如何用Puppeteer稳定提取指定表格内a标签href，解决Heroku偶发报错

数据老陈

2026-9-30

解决方案

1. 修复页面加载时序问题

Heroku服务器网络环境比本地波动大，DOM渲染完成时间不稳定，执行选择器时大概率出现目标元素还未加载完成的情况，是偶发空值的核心原因之一。
需要在执行元素查询前，先通过Puppeteer的等待API确保目标容器已渲染：

// 等待目标表格渲染完成，可按需调整超时时间，默认30s
await page.waitForSelector('#body table:nth-of-type(2)', { timeout: 15000 });
// 可选：等待页面网络请求空闲，避免动态插入的内容未加载完成
await page.waitForNetworkIdle({ idleTime: 500 });

2. 替换脆弱的依赖节点序号的选择器

原有选择器过度依赖nth-child计数，DOM结构只要出现微小变动（比如插入了空文本节点、注释节点、额外的script/style标签），计数就会偏移导致选择失败，替换为更稳定的选择规则：

用id选择器#body定位父容器，不要用body > div这种模糊匹配
用nth-of-type(2)匹配第二个table，该API只会统计同标签类型的元素，不受其他类型子元素干扰
匹配文章链接时，不要用b:nth-child(4)这种计数，改用nth-of-type(2)匹配td内第二个b标签下的a元素
最终稳定的批量获取链接的逻辑如下：

const articleUrls = await page.evaluate(() => {
  // 拿到所有行后跳过第一个表头行
  const rows = Array.from(document.querySelectorAll('#body table:nth-of-type(2) tr')).slice(1);
  return rows.map(row => {
    // 匹配每个行内的目标文章链接
    const linkEl = row.querySelector('td.w b:nth-of-type(2) a');
    // 兜底处理，避免单条数据异常导致整个逻辑报错
    return linkEl ? linkEl.href : null;
  }).filter(url => !!url); // 过滤掉无效的空值
});