Selenium网页抓取时无法在父元素内部定位价格HTML子元素问题

核心原因分析 #

• 部分商品节点无价格元素：实际页面中同类商品条目可能存在多种类型（比如拍卖类商品无一口价、促销标红的价格带有额外class字段），部分s-item__info节点下本身就不存在s-item__price元素。你使用find_element方法只要遇到一个不存在该元素的节点就会直接抛出找不到元素的异常，很容易让你误以为所有节点都定位失败。
• XPath class全匹配陷阱：你使用的[@class="s-item__price"]是完全匹配class属性的规则，如果实际页面中价格标签的class有额外值（比如<span class="s-item__price s-item__price--promotion">），这种写法就会匹配失败。而全局调用find_elements_by_class_name是模糊匹配class列表的，只要包含该类名就会被选中，所以全局查找可以拿到结果。
• HTML结构异常干扰：你给出的示例HTML里存在悬空的</a>闭合标签，说明实际页面的DOM结构可能存在标签嵌套错误，部分浏览器渲染时会把错位的元素移到s-item__info节点外，导致在父节点内查找不到。

解决办法 #

1. 替换会抛出异常的查找逻辑，用find_elements替代find_element，判断存在后再取值，避免单个节点异常中断整个遍历：

for item in driver.find_elements_by_class_name("s-item__info"):
    title = item.find_element_by_xpath('.//h3').text
    print(title)
    # 查找当前节点下的所有价格元素，取第一个存在的
    price_list = item.find_elements_by_xpath('.//span[contains(@class,"s-item__price")]')
    if price_list:
        print(price_list[0].text)
    else:
        print("无可用价格")

2. 如果确认所有商品都应该有价格，可先打印当前item的get_attribute('innerHTML')，核对对应节点内的DOM结构是否和预期一致，排查是否有元素渲染延迟的问题，必要时在遍历前加显式等待，等待所有价格元素加载完成再开始提取。
3. 也可以用父子索引的方式对齐数据，全局拿到所有标题和所有价格后，按下标一一对应即可，只要两个列表的长度一致，就可以直接匹配，实现起来更简单：

titles = [i.text for i in driver.find_elements_by_xpath('//div[contains(@class,"s-item__info")]//h3')]
prices = [i.text for i in driver.find_elements_by_class_name("s-item__price")]
for title, price in zip(titles, prices):
    print(title, price)

内容的提问来源于stack exchange，提问作者Arcimedez