Selenium下拉菜单选择失败求助：无法定位2024选项

刚接触Selenium，正在构建一个能选择下拉菜单特定年份选项的网络爬虫，之前代码可正常运行，但现在失效，目标是从下拉菜单中选择2024年。

原代码 #

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from bs4 import BeautifulSoup
import requests
from selenium.webdriver.common.by import By
import pandas as pd
import csv
import sqlite3
import time
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.select import Select


service = Service()
options = webdriver.ChromeOptions()
driver = webdriver.Chrome(service=service, options=options)
#ministry of defense
url = 'https://www.homeaffairs.gov.au/news-media/archive#'
driver.get(url)

#parse html using beautiful soup
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')

a = WebDriverWait(driver, 30).until(EC.visibility_of_all_elements_located((By.XPATH, '/html/body/form/div[3]/div[2]/div[2]/div[3]/main/div/div[5]/div[3]/div/div[2]/div[3]/div[2]/div/div/div[1]/ha-news-archive/div/ha-news-filters/div/div/div/div/div/div[1]/div/select')))
select = Select(driver.find_element(By.XPATH, '/html/body/form/div[3]/div[2]/div[2]/div[3]/main/div/div[5]/div[3]/div/div[2]/div[3]/div[2]/div/div/div[1]/ha-news-archive/div/ha-news-filters/div/div/div/div/div/div[1]/div/select'))
#select by visible text
select.select_by_visible_text('2024')

报错信息 #

--> 137     raise NoSuchElementException(f"Could not locate element with visible text: {text}")

NoSuchElementException: Message: Could not locate element with visible text: 2024; For documentation on this error, please visit: https://www.selenium.dev/documentation/webdriver/troubleshooting/errors#no-such-element-exception

已尝试用WebDriverWait解决页面加载问题，也试过按value选择、选择其他年份，均无效，不清楚代码为何突然失效。

解决思路 #

• 补全缺失的导入：代码中使用了WebDriverWait和EC，但未导入相关模块，先添加：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  

• 替换脆弱的绝对XPATH：绝对XPATH依赖页面完整层级，页面结构稍有变动就会失效，改用更稳定的定位方式，比如通过元素属性定位：

  # 等待下拉菜单可交互
  select_element = WebDriverWait(driver, 30).until(
      EC.element_to_be_clickable((By.CSS_SELECTOR, "select[aria-label*='Year']"))
  )
  select = Select(select_element)
  

• 移除冗余的静态页面请求：driver.get(url)已经加载了动态页面，无需再用requests.get(url)获取静态HTML，直接删除BeautifulSoup相关代码。
• 验证选项文本的真实性：部分页面的选项文本可能包含空格、换行或隐藏字符，先打印所有选项的文本确认：

  for option in select.options:
      print(repr(option.text))
  

  确认目标选项的实际文本是否为'2024'，有无额外字符。
• 尝试其他选择方式：如果文本选择失败，改用索引或value属性选择（需确认选项的value值或索引）：

  # 通过索引选择（索引从0开始，需自行确认2024对应的索引）
  select.select_by_index(0)
  # 或通过value属性选择（需确认<option>的value属性值）
  select.select_by_value('2024')
  

• 检查是否存在iframe：如果下拉菜单嵌套在iframe中，需先切换到iframe再定位元素：

  # 切换到iframe（需替换为实际iframe的定位方式）
  iframe = WebDriverWait(driver, 30).until(EC.presence_of_element_located((By.ID, "iframe-id")))
  driver.switch_to.frame(iframe)
  # 操作下拉菜单...
  # 操作完成后切回主文档
  driver.switch_to.default_content()
  

内容的提问来源于stack exchange，提问作者Kaitlin