如何让Puppeteer无需等待页面load事件即可获取目标DOM元素？

针对你遇到的广告拖慢page.goto等待时间的问题，有几个直接有效的解决方法：

1. 调整waitUntil参数，提前结束等待 #

page.goto默认的waitUntil: 'load'会等待所有资源（包括广告、视频）加载完成才继续执行。你可以把它改成更早的触发条件：

• domcontentloaded：DOM结构加载完成就触发，无需等待样式、图片、广告等资源
• networkidle2：当2秒内网络请求不超过2个时触发（适合页面仍有少量后台请求但核心内容已加载的情况）

示例代码：

// 用domcontentloaded，最快触发
await page.goto('你的目标URL', { waitUntil: 'domcontentloaded' });
// 之后直接等待目标元素
await page.waitForSelector('a[class="author"]');

2. 完全跳过加载等待，直接等目标元素 #

如果核心元素确实会立即显示，可以把waitUntil设为none，让page.goto发起请求后立刻返回，然后直接等待你需要的元素：

await page.goto('你的目标URL', { waitUntil: 'none' });
// 设置超时时间，防止元素意外不出现时无限等待
await page.waitForSelector('a[class="author"]', { timeout: 30000 });

3. 拦截广告请求，从根源减少加载耗时 #

如果不想等待广告加载，还可以通过请求拦截直接阻止广告资源的加载，这样页面整体加载速度会大幅提升：

// 开启请求拦截
await page.setRequestInterception(true);
page.on('request', (req) => {
  // 拦截广告相关请求，可根据实际情况调整规则
  const isAd = req.url().includes('ad') || req.url().includes('advertisement');
  // 也可以拦截视频、大图片等非必要资源
  const isUnnecessaryResource = ['media', 'image'].includes(req.resourceType());
  
  if (isAd || isUnnecessaryResource) {
    req.abort(); // 终止请求
  } else {
    req.continue(); // 正常放行其他请求
  }
});

// 之后正常跳转，此时广告已被拦截，load事件会快很多
await page.goto('你的目标URL');
await page.waitForSelector('a[class="author"]');

注意：请求拦截的规则需要根据目标网站的广告特征调整，比如广告域名、资源路径等，确保不会误拦截核心资源。

内容的提问来源于stack exchange，提问作者rahulserver