如何在Selenium嵌套循环中勾选未选中的公司子分类复选框

你的代码核心问题出在页面层级跳转后的返回逻辑缺失和元素定位时机错误：

• 点击进入三级子分类列表完成勾选后，没有返回二级分类列表，直接查找下一个子分类会找不到对应元素
• 提前在未进入对应页面层级时就查找全部分类/子分类元素，页面跳转后原有元素会失效，触发StaleElementReferenceException
• 返回按钮仅在所有子分类处理完成后执行一次，没有覆盖单个子分类处理完成后的返回场景

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support import expected_conditions as EC
import pandas as pd
import time

# 驱动配置
PATH = "C:/Program Files (x86)\chromedriver.exe"
driver = webdriver.Chrome(PATH)
wait = WebDriverWait(driver, 10)

# 访问目标页面
driver.get("https://www.crunchbase.com/search/organizations/field/organization.companies/categories/electric-vehicle")
driver.maximize_window()
time.sleep(5)
print(driver.title)

# 点击添加列按钮
addcolumn = wait.until(EC.element_to_be_clickable((By.XPATH, '//button[contains(@class,"add-column-button")]')))
addcolumn.click()

# 获取一级分类总数，每次返回后重新获取避免元素失效
category_count = len(driver.find_elements(By.XPATH, '(//mat-nav-list)[1]//mat-list-item'))

for cat_idx in range(category_count):
    # 每次返回后重新获取当前一级分类元素
    all_categories = driver.find_elements(By.XPATH, '(//mat-nav-list)[1]//mat-list-item')
    category = all_categories[cat_idx]
    print('-----')
    print('Category:', category.text.strip())
    
    # 滚动到可见区域并点击
    ActionChains(driver).move_to_element(category).perform()
    category.click()
    time.sleep(0.5)

    # 勾选当前分类下无下级的未选复选框
    columns = driver.find_elements(By.XPATH, '(//mat-nav-list)[2]//mat-checkbox[not(contains(@class, "mat-checkbox-checked"))]//label')
    print('len(columns):', len(columns))
    for col in columns:
        print('click:', col.text.strip())
        col.click()
    
    # 获取当前分类下子分类总数
    subcategories = driver.find_elements(By.XPATH, '(//mat-nav-list)[2]//mat-list-item[.//icon[@key="icon_caret_right"]]')
    print('len(subcategories):', len(subcategories))
    
    for sub_idx in range(len(subcategories)):
        # 每次返回后重新获取子分类元素
        subcategories = driver.find_elements(By.XPATH, '(//mat-nav-list)[2]//mat-list-item[.//icon[@key="icon_caret_right"]]')
        sub = subcategories[sub_idx]
        sub.click()
        time.sleep(0.5)
        
        # 勾选子分类下所有未选复选框
        subcolumns = driver.find_elements(By.XPATH, '(//mat-nav-list)[3]//mat-checkbox[not(contains(@class, "mat-checkbox-checked"))]//label')
        for subc in subcolumns:
            subc.click()
        
        # 1. 单个子分类处理完成后，返回二级分类列表
        back_sub = wait.until(EC.element_to_be_clickable((By.XPATH, '//button[.//icon[@key="icon_arrow_back"]]')))
        back_sub.click()
        time.sleep(0.5)
    
    # 2. 当前一级分类所有内容处理完成后，返回一级分类列表
    back_cat = wait.until(EC.element_to_be_clickable((By.XPATH, '//button[.//icon[@key="icon_arrow_back"]]')))
    back_cat.click()
    time.sleep(0.5)
        
# 所有分类处理完成后应用更改
wait.until(EC.element_to_be_clickable((By.XPATH, '//button[@aria-label="Apply Changes"]'))).click()

• 放弃提前一次性查找所有层级元素的写法，改用索引遍历，每次返回对应层级后重新查找元素，完全避免元素失效问题
• 新增单个子分类处理完成后的返回逻辑，处理完一个子分类立即返回二级列表，确保下一个子分类可以正常定位
• 一级分类下所有内容（直接复选框+所有子分类）处理完成后，再返回一级列表处理下一个分类，符合页面交互逻辑
• 替换原有不稳定的绝对路径定位，改用属性特征定位返回按钮，同时添加显式等待，降低报错概率

内容的提问来源于stack exchange，提问作者truee