Selenium逐行点击表格打开新窗口后,无法用CSS选择器提取Faculty字段
Selenium 抓取多弹出窗口内Faculty字段的实现修正
现有逻辑存在的核心问题
- 点击行触发新窗口弹出后,Selenium 驱动的操作上下文没有切换到新窗口,始终停留在原主页执行元素定位,根本无法命中弹窗内的目标元素
- 使用多层级硬编码XPath定位Faculty字段,路径耦合度极高,只要页面DOM结构发生细微调整(比如空行增减)就会直接定位失败
- 循环遍历点击元素时,提前一次性获取所有行的元素引用,在页面动态刷新后容易触发陈旧元素引用报错
调整方案
- 每次触发弹窗后,通过窗口句柄列表定位新打开的弹窗,将驱动上下文切换到弹窗后再执行定位操作
- 抛弃层级硬编码XPath,基于页面文本特征编写定位规则,匹配带“Faculty”标签的相邻单元格内容,提升定位稳定性
- 每轮循环前重新获取当前页面的可点击行元素,避免旧元素引用失效
- 版本适配提示:Selenium 4.x 版本中原有
find_elements_by_xxx系列定位API已被弃用,可替换为By类对应的定位写法,功能完全等价
修正后的参考实现代码
from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time driver = webdriver.Chrome() wait = WebDriverWait(driver, 10) crawled_faculty = [] driver.get('https://aaaai.planion.com/Web.User/SearchSessions?ACCOUNT=AAAAI&CONF=AM2021&USERPID=PUBLIC&ssoOverride=OFF') time.sleep(3) # 记录初始主窗口句柄 main_win = driver.current_window_handle row_total = len(driver.find_elements_by_class_name('clickdiv')) for idx in range(row_total): # 每轮重新获取行元素,规避陈旧引用问题 current_row = driver.find_elements_by_class_name('clickdiv')[idx] current_row.click() time.sleep(2) # 遍历所有窗口句柄,切换到新弹出的窗口 all_win = driver.window_handles for win in all_win: if win != main_win: driver.switch_to.window(win) break # 基于文本特征定位Faculty字段 try: faculty_elem = wait.until( EC.visibility_of_element_located( ('xpath', '//td[normalize-space(text())="Faculty"]/following-sibling::td/b') ) ) faculty_content = faculty_elem.text.strip() crawled_faculty.append(faculty_content) print(f"已抓取第{idx+1}条记录的Faculty字段:{faculty_content}") except: crawled_faculty.append("字段定位失败") print(f"第{idx+1}条记录未找到Faculty字段") # 关闭弹窗,切回主窗口进入下一轮循环 driver.find_element_by_class_name('XX').click() time.sleep(1) driver.switch_to.window(main_win) driver.quit()
内容的提问来源于stack exchange,提问作者Void S
相关产品推荐
相关产品推荐

