Selenium+XPath爬取Target商品规格及销售地元素失败原因咨询

• XPath语法不符合Selenium规则：你写的商品规格XPath末尾加了/text()，Selenium的find_element方法只能定位DOM元素节点，无法直接定位文本节点，该写法会直接触发定位异常。
• 绝对路径XPath稳定性极差：你使用的是从根节点开始逐层数div序号的绝对定位逻辑，Target页面会根据商品品类、运营活动、A/B测试动态调整DOM结构，只要对应层级多插入一个广告、提示条组件，序号就会错位，之前能获取到名称和价格只是测试时对应区域结构刚好未发生变动。
• 元素加载等待逻辑失效：商品规格、销售地点模块属于首屏渲染完成后异步拉取数据延迟加载的内容，你仅设置了1秒固定休眠加全局隐式等待，不足以支撑这两个模块完成渲染，自然无法定位到有效值。
• 代码存在基础语法错误：变量名sales location包含空格，不符合Python变量命名规则，即使元素定位成功，这行代码也会直接抛出语法异常。
• requests库无法获取对应内容属于正常现象：Target为前后端分离架构，初始返回的HTML文档不包含完整商品数据，规格、销售地点这类信息是后续通过接口异步拉取渲染的，直接请求初始HTML自然找不到对应元素。

• 先修正基础语法错误，将带空格的变量名sales location改为sales_location，避免语法报错。
• 删除商品规格XPath末尾的/text()，定位到元素节点后，再通过.text属性获取文本内容。
• 放弃脆弱的绝对路径XPath，改用基于固定属性的相对定位：Target页面组件普遍带有写死的data-test属性，定位时优先找对应属性的节点，比如规格区域找带product-variants、specifications标识的data-test节点，销售地点找带fulfillment、store-availability标识的data-test节点，不要靠数div序号写定位。
• 替换固定休眠为显式等待，等元素实际渲染完成后再取值，参考写法：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 最长等待15秒，直到元素可见再获取文本
size = WebDriverWait(wd, 15).until(
    EC.visibility_of_element_located((By.XPATH, "替换为你写的相对定位XPath"))
).text

• 不要使用多线程并发启动多个Selenium实例爬取，Target有明确的反爬机制，短时间多并发请求极易触发验证码、IP拦截，导致页面元素无法正常加载。
• 如果需要更高的爬取稳定性，可以直接抓Target的商品详情接口，接口返回的JSON数据中直接包含规格、销售区域、价格等所有字段，不需要渲染页面解析DOM，稳定性远高于爬取渲染后的页面内容，接口地址可以通过浏览器F12网络面板筛选XHR请求找到。

内容的提问来源于stack exchange，提问作者Cao