使用Selenium Python获取指定class下所有URL的问题求助

问题根源 #

1. 你当前定位的是包含<a>标签的父容器元素，而非<a>标签本身，所以调用get_attribute('href')会返回None。
2. 使用绝对路径XPath（/html/body/...）稳定性极差，页面结构稍有变动就会失效。

正确实现方式 #

直接定位指定class元素下的所有<a>标签，推荐用CSS选择器（简洁高效），同时用显式等待替代time.sleep确保元素加载完成。

修正后的完整代码

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
# 显式等待，超时时间10秒，确保目标元素加载完成
wait = WebDriverWait(browser, 10)

# 替换成你要指定的class名称，比如目标class是"video-card"，则写".video-card a"
target_links = wait.until(EC.presence_of_all_elements_located(
    (By.CSS_SELECTOR, '.目标class a')
))

for link in target_links:
    video_url = link.get_attribute('href')
    if video_url:  # 过滤空链接
        print(video_url)

补充说明 #

• 如果需要用XPath定位，可替换为：

  # 精确匹配class（适合class唯一的情况）
  target_links = wait.until(EC.presence_of_all_elements_located(
      (By.XPATH, "//div[@class='目标class']//a")
  ))
  # 模糊匹配class（适合class包含多个值的情况）
  target_links = wait.until(EC.presence_of_all_elements_located(
      (By.XPATH, "//div[contains(@class, '目标class')]//a")
  ))
  

• 显式等待比time.sleep更智能，只会在元素加载完成后继续执行，避免不必要的等待或元素未加载的错误。

内容的提问来源于stack exchange，提问作者Phan Trọng Phúc