Python Selenium无法定位stellarmls登录页loginId输入框超时问题

故障现象 #

Stellar MLS网站更新登录逻辑后，原有Python Selenium自动化脚本运行失败，核心问题为登录流程中无法选中用户名输入框。已知该输入框id属性为loginId，原本匹配的XPATH路径为"//*[@name='loginId']"。

原有正常运行的定位代码 #

WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.XPATH, "//*[@name='loginId']"))).send_keys(username)

触发报错 #

代码运行后出现元素查找失败、等待超时，报错信息如下：

File "C:\Users\Matt\Python3.9\lib\site-packages\selenium\webdriver\support\wait.py", line 80, in until
raise TimeoutException(message, screen, stacktrace)
selenium.common.exceptions.TimeoutException: Message: 

已完成排查 #

• 测试过Katalon Recorder、Selenium IDE推荐的所有name、路径、id定位方式，全部失效
• 已确认目标元素不在iFrame框架内
• 已留存问题页面运行截图

复现代码（2022年7月5日更新） #

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options

options = webdriver.ChromeOptions()

driver = webdriver.Chrome('C:\\Users\\Matt\\Documents\\Splitt\\Chromedriver\\chromedriver.exe', options=options)

driver.get("https://www.stellarmls.com/")
driver.maximize_window()
WebDriverWait(driver, 6).until(EC.element_to_be_clickable((By.XPATH, '//*[@id="login-form-row"]/form/div/div[3]/div/a'))).click()

driver.find_element(By.ID, "loginId").send_keys('username')

核心根因 #

网站更新后将登录模块封装为Shadow DOM组件，常规DOM定位方法无法穿透Shadow Root边界查找内部元素，这也是排除iFrame问题后所有常规定位方式全部失效的直接原因。

修复步骤 #

1. 点击登录唤起按钮后，增加1.5秒左右的固定等待，等待Shadow DOM组件完全挂载到页面上，不要直接执行元素查找
2. 先定位登录模块的Shadow宿主节点，获取Shadow Root对象后，再在Root范围内查找loginId输入框，替换原有直接全局查找元素的逻辑

修复后可运行代码片段 #

import time
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 点击登录唤起按钮
WebDriverWait(driver, 6).until(EC.element_to_be_clickable((By.XPATH, '//*[@id="login-form-row"]/form/div/div[3]/div/a'))).click()
# 等待Shadow DOM渲染完成
time.sleep(1.5)
# 穿透Shadow DOM定位输入框
shadow_host = driver.find_element(By.CSS_SELECTOR, 'login-module')
shadow_root = shadow_host.shadow_root
username_input = shadow_root.find_element(By.ID, 'loginId')
username_input.send_keys('username')

备选排查项（上述方案无效时依次验证） #

• 网站更新后新增了Selenium自动化特征检测，启动浏览器时追加以下参数绕过检测：

  options.add_argument("--disable-blink-features=AutomationControlled")
  options.add_experimental_option("excludeSwitches", ["enable-automation"])
  options.add_experimental_option("useAutomationExtension", False)
  

• 废弃现有绝对XPATH定位逻辑，前端更新后DOM层级极易变动，优先使用元素id、专属自定义属性定位
• 检查点击登录按钮后是否触发新标签页打开，若窗口句柄发生变化，需要先切换到对应标签页句柄再执行元素查找

内容的提问来源于stack exchange，提问作者Mattr42