Scrapy使用XPath无法提取TripAdvisor页面a标签href属性问题

1. XPath轴使用错误：你写的ancestor轴用于选取当前节点的上层祖先节点，而目标a标签是div.Lvkmj的直接子元素，用ancestor根本匹配不到对应节点，这是基础语法错误。
2. 站点动态渲染逻辑：TripAdvisor的联系类href属性默认不会写在静态HTML里，是页面加载完成后通过JS动态插入到a标签上的，原生Scrapy的默认下载器只会拿初始静态源码，自然取不到属性。
3. 反爬策略触发：请求频率过高、请求头特征不符合正常浏览器、未处理cookie同意弹窗时，站点会故意返回抹除了href属性的页面，你日志里的Evidon -- evidon-notice-link not found提示就是未处理cookie同意导致的内容加载限制。
4. Selenium操作时机错误：你用Selenium时页面还没完成JS渲染就提前拉取了源码，此时href属性还没被插入到DOM中，自然返回空。

1. 修正XPath语法：将轴替换为子元素选择，正确写法为：

tmpLink = response.xpath("//div[@class='Lvkmj']/a/@href").getall()

2. 更稳定的提取方案：直接提取页面内嵌的结构化数据，无需依赖易变的HTML结构。页面中<script type="application/ld+json>标签里包含了完整的场馆联系信息，解析该JSON即可直接拿到官网、电话、邮箱数据，稳定性远高于爬取前端元素。
3. Selenium适配优化：
   • 增加显式等待，等待目标a标签的href属性加载完成后再拉取源码，示例：

   from selenium.webdriver.support.ui import WebDriverWait
   from selenium.webdriver.support import expected_conditions as EC
   from selenium.webdriver.common.by import By
   WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, "//div[@class='Lvkmj']/a[@href]")))
   

   • 启动Selenium后先处理cookie同意弹窗，解除站点内容加载限制。
   • 降低请求频率，增加随机请求间隔，避免触发反爬策略。

内容的提问来源于stack exchange，提问作者Rapid1898