如何在Scrapy中跳过跳转加载页 直接获取登录页面内容

问题原因 #

你遇到的跳转页是前端JavaScript驱动的动态跳转，Scrapy默认的静态下载器不会执行页面内的JS代码，所以只能获取到跳转页的静态内容，不会自动完成跳转进入登录页。

解决方案 #

方案1：使用支持JS渲染的下载器（推荐）

目前主流方案是集成Scrapy Playwright实现JS渲染，自动完成跳转：

• 先安装依赖包：

  pip install scrapy-playwright
  playwright install chromium
  

• 单次在scrapy shell中调试时，直接执行带配置的命令即可获取跳转后的登录页内容：

  scrapy shell https://website.com/portal/login \
  -s DOWNLOAD_HANDLERS='{"http": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler", "https": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler"}' \
  -s PLAYWRIGHT_LAUNCH_OPTIONS='{"headless": True}'
  

• 如果是在项目中常规使用，直接把以下配置加入settings.py即可，后续所有请求都会自动支持JS渲染：

  DOWNLOAD_HANDLERS = {
      "http": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
      "https": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
  }
  PLAYWRIGHT_LAUNCH_OPTIONS = {"headless": True}
  

方案2：手动解析跳转逻辑，跳过跳转页

如果不想引入JS渲染依赖，可以手动提取跳转地址直接请求：

• 先获取跳转页的静态内容，解析页面内的JS代码，找到window.location.href赋值的目标登录地址，或者meta refresh标签指定的跳转url
• 直接请求提取到的目标地址，即可绕过跳转页直接获取登录页内容

方案3：添加等待逻辑适配延迟跳转

如果跳转存在固定延迟，可以给渲染请求添加等待规则，比如等待登录页的用户名输入框、登录按钮等特定元素加载完成，确保返回的response已经是跳转完成的登录页内容。

内容的提问来源于stack exchange，提问作者mohsen