Puppeteer多页面爬取问题：无法完整存储数据到MongoDB

1. 数据提取逻辑漏洞 #

• 字段选择器适配性不足：不同页面的DOM结构可能存在差异，导致page.$eval/page.$$eval提取失败返回undefined，最终存库时被忽略。
  • 修复方案：给每个字段提取添加兜底处理，同时确保元素加载完成再提取：

    // 等待目标元素加载，超时则返回默认值
    await page.waitForSelector('.product-title', { timeout: 5000 }).catch(() => {});
    const title = await page.$eval('.product-title', el => el.textContent.trim()).catch(() => '无标题');
    

• 动态内容未等待渲染：部分商品数据通过AJAX异步加载，page.goto默认仅等待DOM完成，未等数据渲染完毕就开始提取。
  • 修复方案：调整页面加载等待策略，或手动触发内容加载：

    await page.goto(targetUrl, { waitUntil: 'networkidle2', timeout: 10000 });
    // 针对懒加载内容，可滚动页面触发加载
    await page.evaluate(() => window.scrollTo(0, document.body.scrollHeight));
    await page.waitForTimeout(1000);
    

2. MongoDB存储逻辑问题 #

• Schema约束导致数据被拦截：如果MongoDB Schema定义了必填字段，但部分页面无法提取到该字段，会导致整个文档无法存入数据库。
  • 修复方案：修改Schema，给非必填字段设置required: false，或在存库前补全默认值：

    const productData = {
      title: title || '无标题',
      price: price || '0.00',
      model: model || '无型号',
      imageUrl: imageUrl || ''
    };
    await ProductModel.create(productData);
    

• 异步循环未正确等待：使用forEach遍历页面URL时，异步操作会并行执行，可能导致部分数据还未提取完成就跳过存库。
  • 修复方案：改用for...of循环，确保每个页面的爬取、提取、存库流程串行完成：

    const targetUrls = ['url1', 'url2', 'url3'];
    for (const url of targetUrls) {
      await page.goto(url);
      // 数据提取逻辑
      await ProductModel.create(productData);
    }
    

3. 错误捕获机制缺失 #

• 部分页面爬取出错但无日志，导致数据丢失却无法定位问题。
  • 修复方案：给单页面爬取逻辑添加try-catch，记录错误详情：

    for (const url of targetUrls) {
      try {
        await page.goto(url);
        // 数据提取与存库逻辑
      } catch (err) {
        console.error(`页面${url}处理失败:`, err.message);
      }
    }
    

建议先在数据提取后打印productData，确认每个页面的字段是否都正确获取，再逐步排查存库环节的问题。

内容的提问来源于stack exchange，提问作者SiriusB_