使用Selenium爬取网页时定位HS FULL下拉元素问题求助

常见失效原因 #

• 绝对XPath不可靠：你用的是绝对路径XPath，页面结构稍有变动就会失效，这是最常见的问题。
• 元素未完全渲染：time.sleep是固定等待，无法保证元素已经加载完成，应该用Selenium的显式等待机制。
• 元素处于iframe中：检查HS FULL区域是否嵌入了iframe，若有需要先切换到iframe上下文才能操作。
• 元素被遮挡：页面可能存在加载遮罩、弹窗等元素，导致目标元素无法被点击。

修复后的代码示例 #

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.keys import Keys
import time

# 用户输入
year = input("Enter the year (e.g., 2023): ")
month = input("Enter the month (e.g., 07): ")
user_input_im_ex = input("Enter '1' for Import Weight or '2' for Export Weight: ")

# 初始化Chrome驱动（用原始字符串避免路径转义问题）
driver = webdriver.Chrome(r'C:\Webdriver\chromedriver.exe')
driver.get('https://www.bps.go.id/en/exim')
wait = WebDriverWait(driver, 15)  # 设置15秒的显式等待超时

try:
    # 选择Import/Export（注意：请自行验证页面radio的value是否和逻辑匹配）
    if user_input_im_ex == '2':
        radio_btn = wait.until(EC.element_to_be_clickable((By.XPATH, "//input[@value='1']")))
        radio_btn.click()
    elif user_input_im_ex == '1':
        radio_btn = wait.until(EC.element_to_be_clickable((By.XPATH, "//input[@value='2']")))
        radio_btn.click()
    else:
        print("Invalid input for import/export option.")

    # 处理聚合下拉菜单
    agregasi_input = wait.until(EC.element_to_be_clickable((By.ID, 'react-select-filter-agregasi-input')))
    agregasi_input.click()
    agregasi_input.send_keys(Keys.ENTER)

    # --- 关键：定位HS FULL元素 ---
    # 方案1：通过文本内容定位（优先推荐，稳定性更高）
    hs_full_element = wait.until(EC.element_to_be_clickable((By.XPATH, "//div[contains(text(), 'HS FULL')]")))
    hs_full_element.click()

    # 方案2：如果方案1失效，尝试通过父容器的相对路径定位
    # hs_container = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#ss div[class*='hs-section']")))
    # hs_full_element = hs_container.find_element(By.XPATH, ".//div[contains(text(), 'HS FULL')]")
    # hs_full_element.click()

    time.sleep(5)  # 仅用于验证操作结果，实际爬取建议替换为显式等待

finally:
    driver.quit()

额外排查步骤 #

1. 检查iframe：打开浏览器F12开发者工具，查看HS FULL元素的DOM结构，如果它在<iframe>标签内，需要先切换iframe：

   # 定位并切换到目标iframe（替换为实际的iframe选择器）
   iframe = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "iframe[src*='exim']")))
   driver.switch_to.frame(iframe)
   # 操作完成后如果需要回到主页面，执行：
   # driver.switch_to.default_content()
   

2. 等待遮罩消失：如果页面有加载遮罩，先等待遮罩隐藏再操作元素：

   wait.until(EC.invisibility_of_element_located((By.CSS_SELECTOR, ".loading-overlay")))
   

3. 验证定位表达式：在浏览器控制台执行$x("//div[contains(text(), 'HS FULL')]")，确认是否能找到目标元素，快速排查定位表达式是否正确。

内容的提问来源于stack exchange，提问作者user16832397