如何用Ctrl+A和Ctrl+C并行爬取多页且避免文本混淆？

问题根源 #

剪贴板是全局系统资源，多页面并行执行Ctrl+A/Ctrl+C操作时，不同页面的复制动作会互相覆盖剪贴板内容，直接导致文本混淆。另外，依赖固定时长sleep等待剪贴板更新的方式不可靠——不同页面的渲染速度、剪贴板写入延迟存在差异，固定延迟无法适配所有场景。

解决方案 #

放弃依赖全局剪贴板的复制方式，改用页面上下文内直接提取可见文本的方案，彻底规避剪贴板共享带来的冲突。同时优化文本提取逻辑，确保准确性和效率。

1. 简化可见文本提取逻辑 #

浏览器原生的document.body.innerText会自动忽略不可见元素（display:none/visibility:hidden的元素），并保留文本的自然换行，无需手动递归遍历DOM节点：

const copyTextUsingInnerText = (page: Page) =>
  page.evaluate(() => {
    return document.body.innerText.trim();
  }) as Promise<string>;

2. 移除剪贴板依赖的操作 #

完全废弃ctrlActrlC函数和基于剪贴板的文本获取逻辑，从根源上避免全局资源竞争。

3. 优化页面操作流程 #

确保每个页面的文本提取操作在页面完全就绪后执行，同时保留重试机制处理动态内容加载：

const copyAllVisibleText = async (page: Page) => {
  let attempts = 0;
  const maxAttempts = 5; // 减少不必要的重试次数，提升效率
  await page.waitForSelector("body", { timeout: 10000 });
  await closePopUp(page);
  
  while (attempts < maxAttempts) {
    const text = await copyTextUsingInnerText(page);
    if (somePredicateOnText(text)) {
      return text;
    }
    await sleep(500);
    attempts++;
  }
  return null;
};

4. 并行爬取时的控制 #

如果必须并行处理多页面，确保每个页面的文本提取操作被严格隔离：

• 使用withFocusLock保证同一时间只有一个页面处于前台并执行提取操作
• 绝对禁止多个页面同时触发剪贴板相关操作

关键改进点 #

• 摆脱全局剪贴板依赖，彻底解决文本混淆问题
• 利用浏览器原生API简化文本提取逻辑，减少自定义DOM遍历的潜在错误
• 减少无效重试次数，提升爬取效率

内容的提问来源于stack exchange，提问作者Uri