使用Puppeteer抓取dolartoday.com的#result元素值失败，求解决方法

看起来你遇到了几个核心问题：导航超时、未处理的Promise拒绝，还有元素抓取的小细节问题。我来一步步帮你解决：

问题拆解 #

从错误信息和代码来看，主要问题有三个：

• 导航超时：默认30秒的导航时间不足以完成网站加载，大概率是网站有反爬机制或者资源加载较慢
• 未处理Promise拒绝：代码里没有错误捕获逻辑，导致Promise失败时抛出警告
• 元素获取方式错误：直接返回DOM元素无法从浏览器上下文序列化到Node.js环境，你需要获取元素的具体属性值

解决方案 #

1. 调整导航超时与加载策略 #

可以延长导航超时时间，同时设置更合理的加载完成判断条件：

// 把导航超时设置为60秒，同时等待网络请求基本完成
await page.goto('https://dolartoday.com', { timeout: 60000, waitUntil: 'networkidle2' });

networkidle2表示页面加载到只剩2个以内的网络请求时，就认为加载完成，比默认的load事件更适合慢加载或动态渲染的网站。

2. 添加反爬规避措施 #

很多网站会识别Puppeteer的默认特征，我们可以模拟真实浏览器的行为：

// 设置真实的浏览器User-Agent
await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36');

// 启动浏览器时使用新版无头模式，更接近真实浏览器
browser = await puppeteer.launch({
  headless: 'new',
  args: ['--no-sandbox', '--disable-setuid-sandbox'] // 解决部分环境的权限问题
});

3. 正确获取#result元素的内容 #

在page.evaluate里，你需要返回元素的具体属性（比如文本内容），而不是元素本身：

const resultValue = await page.evaluate(() => {
  const element = document.getElementById('result');
  return element ? element.textContent.trim() : null; // 返回元素的文本内容，处理空值情况
});

4. 添加错误捕获逻辑 #

用try/catch包裹整个异步流程，确保错误能被捕获处理，同时保证浏览器无论是否出错都会关闭：

修改后的完整代码 #

const puppeteer = require('puppeteer');

(async () => {
  let browser;
  try {
    // 启动浏览器，配置反爬相关参数
    browser = await puppeteer.launch({
      headless: 'new',
      args: ['--no-sandbox', '--disable-setuid-sandbox']
    });
    const page = await browser.newPage();

    // 设置真实User-Agent
    await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36');

    // 导航到目标网站，延长超时并设置合理的加载完成条件
    await page.goto('https://dolartoday.com', { timeout: 60000, waitUntil: 'networkidle2' });

    // 等待#result元素渲染完成，最多等待10秒
    await page.waitForSelector('#result', { timeout: 10000 });

    // 获取元素的文本内容
    const resultValue = await page.evaluate(() => {
      const element = document.getElementById('result');
      return element ? element.textContent.trim() : null;
    });

    console.log('抓取到的#result值:', resultValue);
  } catch (error) {
    console.error('抓取过程出错:', error);
  } finally {
    // 确保浏览器关闭
    if (browser) {
      await browser.close();
    }
  }
})();

额外提示 #

• page.waitForSelector能确保目标元素已经渲染完成，避免在元素还未加载时就执行获取逻辑
• 如果网站有更严格的反爬，还可以尝试添加页面交互（比如滚动）、设置cookie等方式进一步模拟真实用户行为

内容的提问来源于stack exchange，提问作者Ender Bonnet