如何定位无唯一标识的HTML元素？基于Selenium与BeautifulSoup

针对按钮无唯一ID、类名重复的情况，可通过文本内容+上下文元素定位结合显式等待精准定位，以下是具体实现方案：

可行定位方式 #

• XPath结合文本与父容器：利用按钮的文本内容，同时限定它所在的书评列表容器，避免和页面其他同类型按钮混淆。示例XPath：

  //div[contains(@class, 'reviewList')]//button[normalize-space(text())='Show more reviews']
  

  这里reviewList是书评列表的父容器类名（可根据实际页面结构调整），normalize-space()用来处理文本中的多余空格或换行。

• CSS选择器（需结合文本）：如果浏览器支持:contains()伪类，可结合父容器类筛选：

  div.reviewList button:contains('Show more reviews')
  

  注：部分浏览器对:contains()支持有限，优先推荐XPath方案。

完整点击代码示例 #

结合显式等待和ActionChains（处理按钮不在视口或需hover的情况）：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains

# 循环点击直到按钮消失（无更多评论）
while True:
    try:
        # 等待按钮加载完成并可点击
        show_more_btn = WebDriverWait(driver, 15).until(
            EC.element_to_be_clickable(
                (By.XPATH, "//div[contains(@class, 'reviewList')]//button[normalize-space(text())='Show more reviews']")
            )
        )
        # 移动到按钮位置再点击（避免元素不可交互问题）
        actions = ActionChains(driver)
        actions.move_to_element(show_more_btn).click().perform()
        # 等待新评论加载（可根据页面加载速度调整时间）
        driver.implicitly_wait(3)
    except Exception as e:
        # 按钮不存在时退出循环
        print("无更多评论或按钮定位失败:", e)
        break

注意事项 #

1. 页面结构可能变动，需根据实际Goodreads页面的HTML结构调整父容器的类名或XPath层级；
2. Goodreads有反爬机制，避免过于频繁的点击操作，可适当增加等待时间；
3. 如果按钮文本有变体（比如“Load more reviews”），需同步修改XPath中的文本内容。

内容的提问来源于stack exchange，提问作者beans