Crawlee Puppeteer爬取S3托管站点时URL格式导致链接无法全量抓取

核心原因拆解 #

你的问题本质是相对链接的路径解析错误，结合S3静态站点特性和静态生成器的链接写法，具体原因分两类：

1. AWS S3静态托管的路径解析特性 #

当访问不带尾部斜杠的URL（如bucket-domain/org/team/branch）时，S3静态网站托管虽然会返回index.html内容，但浏览器/爬虫会将当前路径识别为/org/team/（而非/org/team/branch/）。此时页面内的相对链接（如some_other_page_linked_in_index/）会被解析为bucket-domain/org/team/some_other_page_linked_in_index/，而非正确的目标路径，导致爬虫抓取的链接无效，自然无法继续爬取。

而带尾部斜杠的URL会让浏览器明确当前路径是/org/team/branch/，相对链接解析完全正确。

2. 静态站点生成器的链接写法限制 #

部分静态生成器输出的是相对路径链接（而非绝对路径），这类链接完全依赖当前页面的URL路径来解析。如果URL格式不符合生成器预期（不带斜杠或带index.html），就会出现上述解析错误。

S3配置检查项 #

你可以先排查S3的静态网站托管配置：

• 确认已开启静态网站托管功能，且索引文档设置为index.html。
• 检查是否配置了重定向规则，确保访问不带斜杠的目录路径时，自动301重定向到带斜杠的版本。示例规则（在S3控制台的“静态网站托管”→“重定向规则”中添加）：

  [
    {
      "Condition": {
        "KeyPrefixEquals": "org-name/team-name/branch-name"
      },
      "Redirect": {
        "HostName": "your-bucket-domain",
        "Protocol": "https",
        "ReplaceKeyPrefixWith": "org-name/team-name/branch-name/"
      }
    }
  ]
  

  （如果是多个分支，可调整前缀为通用规则，匹配所有不带斜杠的目录路径）

爬虫侧快速修复方案 #

如果无法修改静态站点内容，可在爬虫代码中做针对性处理：

• 强制起始URL添加尾部斜杠：在启动爬虫前，对输入的URL进行预处理：

  const normalizeUrl = (url) => {
    // 排除带文件后缀的URL（如index.html）
    if (!url.endsWith('/') && !url.match(/\.\w+$/)) {
      return url + '/';
    }
    return url;
  };
  // 使用前先标准化URL
  const startUrls = [normalizeUrl('your-bucket-url/org/team/branch')];
  

• 确保爬虫跟随重定向：在Crawlee的PuppeteerCrawler配置中，开启重定向跟随：

  const crawler = new PuppeteerCrawler({
    // 其他配置
    requestHandler: async ({ page, request }) => {
      // 处理页面逻辑
    },
    // 允许跟随重定向
    requestOptions: {
      followRedirect: true,
    },
  });
  

• 手动修正页面链接：如果重定向仍有问题，可在抓取页面后，手动修正相对链接的解析路径：

  async function fixRelativeLinks(page, baseUrl) {
    await page.evaluate((base) => {
      document.querySelectorAll('a[href]').forEach(a => {
        const href = a.getAttribute('href');
        // 仅处理相对路径（非绝对、非mailto等）
        if (href.startsWith('.') || !href.startsWith('http')) {
          a.setAttribute('href', new URL(href, base).href);
        }
      });
    }, baseUrl);
  }
  // 在requestHandler中调用
  requestHandler: async ({ page, request }) => {
    await fixRelativeLinks(page, request.loadedUrl);
    // 然后提取链接进行爬取
  }
  

内容的提问来源于stack exchange，提问作者klvs