Scrapy使用response.css提取a标签href返回空结果如何解决

常见问题排查点 #

• 首先确认类名是否为动态生成：TripAdvisor这类站点大量使用前端框架自动生成的哈希类名，dOGcA大概率是随机生成的临时类名，页面刷新、不同访问环境下类名都会发生变化，直接匹配该类名无法稳定定位元素
• 检查内容是否为异步加载：你要提取的「website」板块内容可能是页面基础加载完成后通过JavaScript异步请求渲染的，你初始拿到的response响应中根本没有对应DOM结构，自然提取不到结果
• 确认选择器匹配逻辑是否正确：可以先输出response.text搜索目标链接，确认链接存在于初始响应的前提下，查找该链接对应的a标签真实结构，改用更稳定的定位方式，比如通过父板块的固定ID、固定属性定位，不要依赖随机哈希类名

推荐替代写法 #

如果确认链接在初始响应中存在，可以改用固定属性定位，示例代码如下：

# 先定位到website板块再提取下属a标签的href属性
response.xpath('//div[contains(@class, "website")]//a/@href').extract()
# 也可以通过a标签的固定公共属性匹配
response.css('a[target="_blank"]::attr(href)').extract()

如果确认是异步加载场景，需要抓对应板块的ajax接口直接请求数据，或者使用Selenium、Playwright等页面渲染工具拿到完整渲染后的页面再做提取。

内容的提问来源于stack exchange，提问作者djmystica