如何用Selenium与XPath定位动态页面按钮并解决空列表问题

问题根源分析 #

1. 元素定位语法错误：代码里XPATH使用了HTML转义字符"，Python字符串中直接使用单/双引号即可，转义后会导致定位表达式无效，返回空列表。
2. 复数查找误用：find_elements返回的是元素列表，不能直接调用.click()方法，需使用find_element（返回单个元素）或从列表中取有效元素。
3. 等待逻辑混乱：隐式等待与显式等待混用，且未针对动态加载的按钮做针对性等待，导致元素未渲染完成就执行查找，返回空。
4. 循环逻辑冗余：for i in range(1)仅执行一次，且手动i +=1无意义，无法实现多页爬取。

修正后的代码 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import time

# 初始化浏览器驱动
driver = webdriver.Chrome()
wait = WebDriverWait(driver, 15)

# 目标页面
driver.get('https://is.muni.cz/predmet/?volby=obory:4382@fakulta:1433@obdobi:podzim%202023,jaro%202024@jazyky:eng')

links = []

# 示例爬取2页，可根据需求修改次数
for _ in range(2):
    # 解析当前页面内容
    soup = BeautifulSoup(driver.page_source, 'html.parser')
    links += ['https://is.muni.cz' + link['href'] for link in soup.find_all('a', class_='course_link')]
    
    try:
        # 显式等待分页按钮可点击，避免动态加载导致的定位失败
        next_button = wait.until(
            EC.element_to_be_clickable((By.XPATH, "//a[@class='isi-zobacek-vpravo isi-inline']"))
        )
        next_button.click()
        # 等待页面加载完成（也可改用显式等待判断内容更新）
        time.sleep(3)
    except Exception as e:
        print(f"无法点击下一页或已到最后一页: {e}")
        break

print(links)
driver.quit()

关键修改说明 #

• 修正XPATH表达式：移除HTML转义字符，使用标准引号格式，确保定位有效。
• 改用显式等待：通过WebDriverWait结合element_to_be_clickable等待按钮加载完成并可点击，彻底解决动态加载导致的空列表问题。
• 修复元素调用方式：通过显式等待返回单个可点击元素，可直接调用.click()方法。
• 优化循环逻辑：简化循环控制，添加异常捕获，避免因最后一页无按钮导致的报错。

内容的提问来源于stack exchange，提问作者Kristián Ondruška