Scrapy中response.css查询存在元素却返回空列表问题求助

问题详情 #

• 目标页面：https://www.abf.com.br/a-abf/franquias-associadas-abf/
• 异常现象：Scrapy Shell中使用.list-francises能正常获取元素列表，但.card-all-franchises div:nth-child(1)查询实际存在的元素时返回空列表，其他测试网站无此问题
• 执行命令：

scrapy shell 'https://www.abf.com.br/a-abf/franquias-associadas-abf/'
response.css('.list-francises').getall()
response.css('.card-all-franchises div:nth-child(1)').getall()

排查与解决方案 #

• 检查元素是否动态渲染
  Scrapy默认抓取服务器返回的初始HTML，若.card-all-franchises下的内容是JavaScript动态加载的，初始HTML中不会包含这些元素。执行print(response.body.decode('utf-8'))查看原始响应，确认目标元素是否存在。

• 修正CSS选择器逻辑
  :nth-child(1)会匹配父元素的第一个子元素，无论标签类型。如果.card-all-franchises的第一个子元素不是div（比如可能是script、注释或其他标签），选择器就会失效。改用:nth-of-type(1)，它只统计父元素下同类型的子元素：

  response.css('.card-all-franchises div:nth-of-type(1)').getall()
  

• 验证选择器基础范围
  先确认.card-all-franchises元素本身是否被抓取到：

  response.css('.card-all-franchises').getall()
  

  如果返回空，说明该元素在初始响应中不存在，需处理动态加载；如果有结果，再通过response.css('.card-all-franchises').get()查看元素内部结构，调整子元素选择器。

• 处理动态加载内容
  若确实是JS动态渲染导致，可集成Scrapy Playwright或Splash等渲染工具，获取JavaScript执行后的页面内容再进行选择器查询。

内容的提问来源于stack exchange，提问作者oliveiragus