Python Scrapy使用合规XPath无法提取网页链接问题求助

1. 优先修复XPath语法错误 #

你当前的写法存在两个明确的语法问题：

• 使用了中文双引号“”而非英文双引号""，XPath解析器无法识别中文符号
• 属性匹配节点缺少闭合的方括号]，属于语法格式错误
  如果硬编码节点路径可以拿到数据，基本可以排除动态渲染的问题，90%以上是上述XPath语法符号错误导致的匹配失败，正确的测试写法如下：

# 完整class匹配写法
response.xpath('//a[@class="sb-card sb-card-company site-1x1 with-hover"]/@href').getall()
# contains模糊匹配写法
response.xpath('//a[contains(@class, "sb-card-company")]/@href').getall()

2. 验证静态页面是否存在目标元素 #

Scrapy 默认只会获取页面初始静态HTML，不会执行JS渲染：

• 先在Scrapy Shell中执行view(response)，打开实际爬取到的本地页面，检查是否存在对应class的a标签
• 如果本地页面没有目标元素，说明站点的卡片数据是JS动态加载的，你需要通过F12控制台的网络面板抓对应的数据接口，直接请求接口获取JSON格式数据即可，不需要解析HTML

3. 额外排查点 #

• 打印所有a标签的class属性确认目标值是否存在：执行[i for i in response.xpath('//a/@class').getall() if 'sb-card' in i]，看是否有匹配结果
• 检查class属性是否存在隐藏的换行、多余空格或者动态生成的随机后缀，导致匹配失败

内容的提问来源于stack exchange，提问作者NoStackDev