Selenium无法提取Hoka商品页评分数值问题求助

原代码问题分析 #

1. 选择器匹配错误：通过By.TAG_NAME定位<h3>标签过于宽泛，目标评分数值并非<h3>标签内的内容，自然无法获取到目标数据。
2. 未处理动态加载：页面评分数据属于异步渲染内容，直接调用find_elements时，元素可能还未加载完成，导致返回空结果。

修正方案 #

核心改进点 #

1. 显式等待元素加载：用WebDriverWait配合expected_conditions等待目标元素渲染完成，避免因动态加载导致的元素未找到问题。
2. 精准定位评分元素：通过浏览器开发者工具（F12）确认，Hoka该页面的评分数值位于类名为bv_avgRating_component_value的<span>标签中，使用CSS选择器精准定位。

修正后的代码 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

url = "https://www.hoka.com/en/us/mens-everyday-running-shoes/rincon-3/1119395.html"
driver = webdriver.Chrome()
driver.get(url)

try:
    # 最长等待10秒，直到评分元素加载完成
    rating_element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, ".bv_avgRating_component_value"))
    )
    # 提取并打印评分数值
    print(f"评分数值：{rating_element.text}")
finally:
    driver.quit()

额外优化提示 #

• 若页面存在Cookie弹窗，需先处理弹窗（点击同意按钮），否则可能遮挡或阻碍元素定位：

  # 示例：点击Cookie同意按钮（需根据实际按钮选择器调整）
  cookie_btn = WebDriverWait(driver, 5).until(
      EC.element_to_be_clickable((By.ID, "onetrust-accept-btn-handler"))
  )
  cookie_btn.click()
  

• 如果评分元素在页面底部，可添加滚动操作确保元素进入视口：

  driver.execute_script("arguments[0].scrollIntoView({behavior: 'smooth'});", rating_element)
  

内容的提问来源于stack exchange，提问作者hanna