Python Selenium爬取WhaleWisdom：分页按钮点击错误排查

问题原因 #

你代码里用的//*[@class='btn btn-default dropdown-toggle']选择器范围太宽泛，页面上存在多个相同类名的下拉按钮（比如季度选择下拉），导致误点了错误按钮。

修复步骤 #

1. 缩小定位范围：每页条目数的下拉按钮通常在标记为dataTables_length的容器内，以此为锚点定位目标按钮
2. 点击下拉按钮后，选择“50”条目选项

修复后的代码 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

options = webdriver.FirefoxOptions()
options.binary_location = r'C:/Users/Mozilla Firefox/firefox.exe'
driver = webdriver.Firefox(executable_path='C:/geckodriver.exe' , options=options)
driver.get('https://whalewisdom.com/filer/fisher-asset-management-llc#tabholdings_tab_link')

# 定位到每页条目数的容器，确保只针对目标下拉按钮
length_container = WebDriverWait(driver, 20).until(
    EC.visibility_of_element_located((By.XPATH, "//div[contains(@class, 'dataTables_length')]"))
)
# 滚动到容器位置避免遮挡
driver.execute_script("arguments[0].scrollIntoView(true);", length_container)
# 点击目标下拉按钮
dropdown_btn = WebDriverWait(length_container, 20).until(
    EC.element_to_be_clickable((By.XPATH, ".//button[@class='btn btn-default dropdown-toggle']"))
)
dropdown_btn.click()

# 选择显示50条的选项
WebDriverWait(driver, 20).until(
    EC.element_to_be_clickable((By.XPATH, "//ul[@class='dropdown-menu']//a[text()='50']"))
).click()

关键说明 #

• 借助dataTables_length容器缩小定位范围，精准锁定每页条目数的下拉按钮
• 通过文本“50”直接定位目标选项，避免选择错误条目

内容的提问来源于stack exchange，提问作者Agustos Imola