Scrapy CSS选择器匹配元素失败但Chrome浏览器可正常匹配相同规则

问题原因 #

该问题的核心是 Scrapy获取的原始HTML与Chrome渲染后展示的HTML内容存在差异：
Chrome在渲染页面时会自动标准化处理相对路径属性，你在开发者工具Elements面板中看到的href="./viewforum.php?f=18"是浏览器处理后的结果，并非服务器返回的原始源码内容。
直接在Scrapy Shell中打印response.text查看原始源码即可发现，对应a标签的href属性原始值为viewforum.php?f=18，没有前缀./，因此使用精确匹配的CSS选择器无法命中元素，才会触发索引越界错误。

解决方案 #

可根据使用场景选择以下任意一种方案：

• 直接匹配原始属性值
  移除选择器中多余的./前缀即可正常匹配：

  response.css('a[href="viewforum.php?f=18"]::text')[0].get()
  

• 使用属性模糊匹配
  不要求路径完全一致，只要href属性包含目标片段即可命中，容错性更高：

  response.css('a[href*="viewforum.php?f=18"]::text')[0].get()
  

• 统一标准化路径后匹配
  如果页面内相对路径写法不统一，可将所有路径转为绝对路径后再匹配，准确性最高：

  from urllib.parse import urljoin
  
  target_url = urljoin(response.url, "./viewforum.php?f=18")
  for a_tag in response.css("a"):
      raw_href = a_tag.attrib.get("href", "")
      full_href = urljoin(response.url, raw_href)
      if full_href == target_url:
          print(a_tag.css("::text").get())
          break
  

内容的提问来源于stack exchange，提问作者Jiahao Chen