Selenium无法定位fieldset内元素？爬取FHSAA学校名录问题求助

• 优先确认是否存在iframe嵌套
  你要定位的表单提交域名和原站域名不一致，属于第三方嵌入组件，大概率是嵌套在iframe中加载的，直接在根DOM下定位必然找不到元素，需要先切换到对应iframe再执行定位操作，Selenium示例代码如下：

  # 切换到页面中第一个iframe，如有多个可通过id、name或索引精准定位
  driver.switch_to.frame(driver.find_element(By.TAG_NAME, "iframe"))
  # 切换完成后再执行元素定位操作
  

• 调整元素等待逻辑
  固定时长等待容易受网络波动影响导致元素未加载完成就执行定位，建议改用显式等待，指定等待条件和最长等待时间，示例代码如下：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  from selenium.webdriver.common.by import By
  
  wait = WebDriverWait(driver, 10)
  # 等待输入框加载完成
  school_input = wait.until(EC.presence_of_element_located((By.XPATH, "//input[@name='school_name']")))
  # 等待输入框可交互后执行输入
  school_input = wait.until(EC.element_to_be_clickable((By.XPATH, "//input[@name='school_name']")))
  school_input.send_keys("待搜索的学校名称")
  

• 更高效的免定位爬取方案
  该表单采用GET提交方式，无需模拟浏览器操作即可直接构造请求获取数据，无需处理元素定位、iframe、等待等问题：
  • 按学校ID搜索：直接请求 https://fhsaahome.org/widget/school-directory/submit?school_id=对应学校ID值
  • 按学校名称搜索：直接请求 https://fhsaahome.org/widget/school-directory/submit?school_name=URL编码后的学校名称
    直接发送HTTP请求解析返回结果即可，效率远高于模拟浏览器操作。

内容的提问来源于stack exchange，提问作者NoobDev