Puppeteer如何批量打开多链接、定时刷新所有标签页并执行爬取

你之前的代码不需要为每个标签页单独定义tab1/tab2这类命名变量，出现仅能操作最后一个页面的问题，本质是循环中反复用单个变量接收新创建的标签页实例，循环结束后变量仅持有最后一个标签页的引用，无法遍历操作所有已打开的页面，并非前面的标签页没有创建成功。
不需要提前预知标签页总数量，用数组动态存储所有标签页实例即可满足需求。

1. 批量打开链接并存入标签指数组 #

// 提前启动独立浏览器实例 browser2
// 初始化空数组存储所有标签页实例，支持动态增减，无需提前指定长度
const allTabs = [];
const hrefsToVisit = await pageHome.$$('.seemore');

for (const hrefEl of hrefsToVisit) {
  const linkPath = await pageHome.evaluate(el => el.getAttribute("href"), hrefEl);
  // 补全相对路径为绝对访问地址，避免页面跳转报错
  const fullUrl = new URL(linkPath, pageHome.url()).href;
  console.log('待打开链接：', fullUrl);

  const newTab = await browser2.newPage();
  await newTab.goto(fullUrl, { waitUntil: 'domcontentloaded' });
  // 将新创建的标签页实例存入数组，无需单独命名变量
  allTabs.push(newTab);
}

2. 定时批量刷新+全页面爬取逻辑 #

// 每10秒执行一次全量刷新、爬取流程
setInterval(async () => {
  console.log(`开始刷新共 ${allTabs.length} 个标签页`);
  // 并行刷新所有标签页，实现同步刷新效果
  await Promise.all(
    allTabs.map(tab => tab.reload({ waitUntil: 'domcontentloaded' }))
  );
  console.log('所有标签页刷新完成，开始批量爬取');

  // 并行执行所有页面的爬取逻辑
  const crawlResults = await Promise.all(
    allTabs.map(async (tab, idx) => {
      // 替换为你实际的单页爬取逻辑即可
      const pageTitle = await tab.title();
      const pageUrl = tab.url();
      // const pageContent = await tab.content();
      return {
        tabId: idx,
        url: pageUrl,
        title: pageTitle
      }
    })
  );

  console.log('本轮爬取结果：', crawlResults);
}, 10000);

• 批量操作时使用Promise.all并行执行刷新、爬取动作，比串行逐个处理效率高，更符合同步操作所有页面的需求
• 提取到的href如果是相对路径，必须通过new URL拼接成绝对路径，否则会出现跳转地址错误
• 可以给goto、reload、爬取逻辑加try/catch容错，避免单个页面加载失败打断整个批量流程
• 如果需要清理标签页，直接遍历allTabs数组调用tab.close()即可批量关闭所有页面
• 若未手动维护标签指数组，也可随时通过await browser2.pages()获取当前浏览器下所有打开的标签页，注意过滤掉浏览器启动时默认生成的空白页即可

内容的提问来源于stack exchange，提问作者user2178964