Selenium Python无法点击Goodreads的Show More按钮问题求助

针对你遇到的Selenium无法点击Goodreads书评页Show More按钮的问题，以下是几个针对性的解决方案：

1. 替换不稳定的绝对XPATH为相对定位 #

你当前使用的绝对XPATH依赖页面DOM结构的固定层级，一旦页面布局微调就会失效。改用基于按钮文本的相对定位更可靠：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 显式等待按钮加载完成并处于可点击状态
wait = WebDriverWait(driver, 20)
showmore_button = wait.until(EC.element_to_be_clickable((By.XPATH, "//button[contains(text(), 'Show More')]")))

2. 确保按钮进入视口后再点击 #

按钮默认在页面底部，未滚动到对应位置时元素处于不可见状态，直接点击会触发异常。先滚动到按钮位置：

# 滚动按钮到页面中间位置，确保完全可见
driver.execute_script("arguments[0].scrollIntoView({block: 'center'});", showmore_button)

3. 优化Headless模式配置 #

Goodreads可能检测到Headless浏览器并限制交互，添加User-Agent模拟正常浏览器，并使用新版Headless模式：
修改你的createdriver函数：

def createdriver():
    options = webdriver.ChromeOptions()

    # 使用新版Headless模式，渲染逻辑更接近正常浏览器
    options.add_argument('--headless=new')
    options.add_argument('--no-sandbox')
    options.add_argument('--disable-dev-shm-usage')
    options.add_argument("start-maximized")
    options.add_argument('--window-size=1920,1080')  
    options.add_argument("--incognito")
    # 添加正常浏览器的User-Agent，避免被识别为爬虫
    options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
    
    driver = webdriver.Chrome(options=options)

    return driver

4. 优先点击按钮本身而非子元素 #

你之前定位的是按钮内的<span>标签，实际可点击的是外层<button>元素，直接定位按钮能避免元素不可点击的问题。

完整可运行代码示例 #

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

def createdriver():
    options = webdriver.ChromeOptions()

    options.add_argument('--headless=new')
    options.add_argument('--no-sandbox')
    options.add_argument('--disable-dev-shm-usage')
    options.add_argument("start-maximized")
    options.add_argument('--window-size=1920,1080')  
    options.add_argument("--incognito")
    options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
    
    driver = webdriver.Chrome(options=options)

    return driver

url = "https://www.goodreads.com/book/show/2767052-the-hunger-games/reviews?"
driver = createdriver()
driver.get(url)

try:
    # 等待按钮加载并滚动到可见位置
    wait = WebDriverWait(driver, 20)
    showmore_button = wait.until(EC.element_to_be_clickable((By.XPATH, "//button[contains(text(), 'Show More')]")))
    driver.execute_script("arguments[0].scrollIntoView({block: 'center'});", showmore_button)
    
    # 先尝试原生点击，失败则用JS点击兜底
    showmore_button.click()
    print("Show More按钮点击成功")
except Exception as e:
    print(f"点击失败，错误信息: {str(e)}")
    driver.execute_script("arguments[0].click();", showmore_button)

内容的提问来源于stack exchange，提问作者Alex