Selenium操作下拉菜单遇Element不可见错误，临时方案已失效

问题概述 #

此前采用Abhay Chaudhary提供的临时方案解决Arrow陶瓷电容分类页的分页下拉选择问题，多次执行后方案失效，WebDriverWait返回空选择器，初始错误重现。核心需求为选择每页显示100条数据，尝试过Select类和直接click()方法均未成功。

已尝试的无效代码 #

方法1：使用原生Select类 #

url = 'https://www.arrow.com/en/categories/capacitors/fixed-capacitors/capacitor-ceramic-multilayer?page=1'
driver.get(url)
time.sleep(5)
source_data = driver.execute_script("return document.documentElement.outerHTML;")
source_data
selector = Select(driver.find_element('css selector', '#SearchResults-perPage'))
selector.select_by_value('100')

方法2：直接点击元素 #

url = 'https://www.arrow.com/en/categories/capacitors/fixed-capacitors/capacitor-ceramic-multilayer?page=1'
driver.get(url)
time.sleep(5)
source_data = driver.execute_script("return document.documentElement.outerHTML;")
source_data
selector = driver.find_element('xpath', '//*[@id="jumpToProducts"]/div/pagination-bar/div/div/span')
selector.click()
value = '#SearchResults-perPage > option:nth-child(4)'
click()

已知问题点 #

• 直接click()逻辑错误：触发点击的元素与目标下拉选项无嵌套关系，无法通过该方式唤起并选择选项。
• 原临时方案失效：网站可能更新了DOM结构、启用动态渲染或添加反爬机制，导致原有选择器失效。

有效解决方案 #

Arrow网站的分页下拉使用Select2自定义插件，原生<select>标签被隐藏，因此不能直接使用Select类，需模拟真实用户操作步骤：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains

# 初始化并访问目标页面
url = 'https://www.arrow.com/en/categories/capacitors/fixed-capacitors/capacitor-ceramic-multilayer?page=1'
driver.get(url)

# 1. 显式等待分页区域加载，并滚动到该区域（避免元素不可见）
pagination_area = WebDriverWait(driver, 15).until(
    EC.presence_of_element_located((By.XPATH, '//div[contains(@class, "pagination-bar")]'))
)
ActionChains(driver).move_to_element(pagination_area).perform()

# 2. 点击Select2下拉的触发按钮（而非原生select）
dropdown_trigger = WebDriverWait(driver, 15).until(
    EC.element_to_be_clickable((By.CSS_SELECTOR, '#SearchResults-perPage + .select2-container'))
)
dropdown_trigger.click()

# 3. 等待并点击"100"选项
target_option = WebDriverWait(driver, 15).until(
    EC.element_to_be_clickable((By.XPATH, '//li[contains(@class, "select2-results__option") and text()="100"]'))
)
target_option.click()

核心要点 #

• 替换固定等待为显式等待：确保元素完全加载并可交互，避免空选择器问题。
• 操作自定义下拉DOM：Select2插件生成的触发按钮和选项是实际可交互的元素，需定位这些元素而非原生<select>。
• 模拟真实用户行为：添加滚动操作确保元素可见，降低被反爬机制拦截的概率。

内容的提问来源于stack exchange，提问作者Vladislav