Scrapy（Python）中目标网站CSS元素选择失效问题排查

你遇到的情况大概率是目标网站的反爬机制拦截了默认的Scrapy请求，或是页面内容通过JavaScript动态渲染导致静态HTML中没有目标元素。以下是可行的解决步骤：

1. 配置真实的请求头（User-Agent） #

Scrapy默认的User-Agent会被多数反爬系统识别为爬虫，你需要设置一个常见浏览器的UA来模拟正常用户请求：

• 在项目的settings.py中添加：

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'

• 或者在Spider中自定义请求头：

def start_requests(self):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'
    }
    for url in self.start_urls:
        yield scrapy.Request(url, headers=headers, callback=self.parse)

2. 检查页面是否为JavaScript动态渲染 #

如果设置UA后仍无法获取元素，可能目标内容是JS加载的，Scrapy默认只能解析静态HTML。可以通过以下方式处理：

• 使用scrapy-playwright扩展：
  1. 安装依赖：pip install scrapy-playwright
  2. 在settings.py中启用扩展：

  DOWNLOAD_HANDLERS = {
      "http": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
      "https": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
  }
  PLAYWRIGHT_LAUNCH_OPTIONS = {"headless": True}
  

  3. 修改Spider使用PlaywrightRequest：

  from scrapy_playwright.page import PageCoroutine
  
  def start_requests(self):
      yield scrapy.Request(
          self.start_urls[0],
          meta={
              "playwright": True,
              "playwright_page_coroutines": [
                  PageCoroutine("wait_for_selector", "h5"),
              ],
          },
      )
  

3. 验证返回的响应内容 #

在parse方法中先打印响应的前部分内容，确认是否拿到了完整页面，或是被重定向到了验证页面：

def parse(self, response):
    print(response.text[:1000])  # 打印响应前1000字符
    print(response.css('h5').get())

如果输出中包含Cloudflare验证、验证码相关内容，说明需要处理人机验证，可尝试携带已验证的Cookie发起请求。

4. 重新确认CSS选择器的准确性 #

即使在其他网站能用h5选择器，目标网站的元素结构可能不同。打开浏览器开发者工具（F12），定位目标元素，复制正确的CSS选择器（比如可能是.product-name h5或其他带类名的层级选择器），替换原选择器重试。

内容的提问来源于stack exchange，提问作者Davis