使用Selenium WebDriver保存LinkedIn职位异常：仅存半数且报错

使用Selenium WebDriver登录LinkedIn并批量保存Python开发职位时遇到以下问题：

• 代码能通过自动滚动加载职位列表，但保存操作频繁触发StaleElementReferenceException或ElementClickInterceptedException
• 试过用try-except忽略异常，但还是会跳过部分职位，而且ElementClickInterceptedException报错依然存在

问题根源 #

1. 元素引用过期：一开始获取的job_listings元素集合，会因为页面滚动刷新DOM而失效，后续遍历的都是已经过期的元素引用
2. 点击被拦截：页面加载时可能弹出cookie提示、登录弹窗等，或者元素还没完全渲染好，导致点击操作被拦截

修复要点 #

• 不缓存过期元素：别提前把所有职位元素都存起来，每次循环时重新定位当前的职位元素，或者通过索引重新获取
• 用显式等待替代隐式等待：隐式等待是全局生效的，优先级低，改用WebDriverWait针对单个元素做等待，确保元素能交互再操作
• 处理拦截弹窗：点击前先检查有没有拦截元素（比如cookie弹窗的关闭按钮），处理完再执行点击
• 优化滚动逻辑：直接用JS脚本滚动页面，不用定位滚动元素，避免滚动元素失效的问题

from selenium import webdriver
from selenium.common.exceptions import StaleElementReferenceException, ElementClickInterceptedException
from selenium.webdriver import ActionChains, Keys
from selenium.webdriver.common.by import By
import time
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 此处省略LinkedIn登录代码，需自行实现

# 点击"查看全部"职位按钮
see_all_button = WebDriverWait(driver, 20).until(
    EC.element_to_be_clickable((By.CLASS_NAME, "search-results__cluster-bottom-banner"))
)
see_all_button.click()

# 滚动加载至少10个职位
job_count = 0
while job_count < 10:
    # 用JS脚本滚动到页面底部
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(2)
    # 重新获取当前已加载的职位列表
    job_listings = WebDriverWait(driver, 10).until(
        EC.presence_of_all_elements_located((By.CSS_SELECTOR, ".job-card-container--clickable"))
    )
    job_count = len(job_listings)
    print(f"已加载 {job_count} 个职位")

# 遍历职位并执行保存操作
for index in range(job_count):
    try:
        # 每次循环重新定位职位列表，避免元素过期
        job_listings = WebDriverWait(driver, 10).until(
            EC.presence_of_all_elements_located((By.CSS_SELECTOR, ".job-card-container--clickable"))
        )
        current_job = job_listings[index]
        
        # 移动到职位元素上，确保元素可见
        ActionChains(driver).move_to_element(current_job).perform()
        # 等待职位可点击后再点击
        WebDriverWait(driver, 10).until(EC.element_to_be_clickable(current_job)).click()
        
        # 等待详情页加载完成，定位保存按钮
        save_button = WebDriverWait(driver, 15).until(
            EC.element_to_be_clickable((By.CLASS_NAME, "jobs-save-button"))
        )
        
        # 处理可能出现的cookie弹窗
        try:
            close_cookie_btn = WebDriverWait(driver, 5).until(
                EC.element_to_be_clickable((By.CSS_SELECTOR, "[aria-label='关闭']"))
            )
            close_cookie_btn.click()
        except:
            pass
        
        # 点击保存按钮
        save_button.click()
        print(f"成功保存第 {index+1} 个职位")
        time.sleep(1)
        
    except StaleElementReferenceException:
        print(f"第 {index+1} 个职位元素已过期，跳过")
        continue
    except ElementClickInterceptedException:
        print(f"第 {index+1} 个职位点击被拦截，尝试重试")
        # 重试一次操作
        try:
            # 通过索引重新定位职位
            retry_job = WebDriverWait(driver, 5).until(
                EC.element_to_be_clickable((By.CSS_SELECTOR, f".job-card-container--clickable:nth-child({index+1})"))
            )
            retry_job.click()
            save_button = WebDriverWait(driver, 10).until(
                EC.element_to_be_clickable((By.CLASS_NAME, "jobs-save-button"))
            )
            save_button.click()
            print(f"重试后成功保存第 {index+1} 个职位")
        except:
            print(f"重试失败，跳过第 {index+1} 个职位")
            continue
    except Exception as e:
        print(f"处理第 {index+1} 个职位时出错: {str(e)}")
        continue

内容的提问来源于stack exchange，提问作者Nadi