Python-Selenium随机卡顿求助：ChromeDriver遍历页面时随机挂起

使用Python Selenium 3.141.0搭配最新ChromeDriver遍历网站页面时，代码可正常运行，但ChromeDriver会在随机节点挂起。已尝试重启程序、更新依赖包，问题仍存在。以下是针对性的解决思路：

核心问题排查与修复方向 #

1. 替换硬等待为显式等待，避免页面加载阻塞 #

代码中大量使用time.sleep()硬等待，完全依赖固定时长，无法适配页面加载的波动（网络快慢、服务器响应延迟），很容易导致元素未就绪就执行操作，触发驱动挂起。改用Selenium显式等待，等待元素满足条件后再执行操作：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

示例用法：

# 等待同意按钮可点击
WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.ID, 'onetrust-accept-btn-handler'))).click()
# 等待所有clip-card元素加载完成
p_element = WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.CLASS_NAME, 'clip-card')))

2. 修复循环逻辑的死循环风险 #

你的page_link_list初始为空，第一次循环根本不会执行；且循环中持续往列表追加元素，会导致无限循环，这是随机挂起的核心诱因之一。改用队列+已访问集合管理链接，避免重复访问和无限循环：

from collections import deque

# 填入实际初始页面链接
page_queue = deque(['初始页面URL1', '初始页面URL2'])
visited_pages = set()

while page_queue:
    page = page_queue.popleft()
    if page in visited_pages:
        continue
    visited_pages.add(page)
    driver.get(page)
    # 后续元素处理...
    # 新链接加入队列（去重）
    for ele in p_element:
        link = ele.find_element_by_tag_name('a').get_attribute('ng-href')
        if link not in visited_pages and link not in page_queue:
            page_queue.append(link)

3. 优化异常处理逻辑 #

当前except捕获所有异常，且重复执行三次相同的元素查找，冗余操作会加重驱动负担。改为捕获特定异常，只做必要重试：

from selenium.common.exceptions import NoSuchElementException, TimeoutException

try:
    # 尝试点击同意按钮
    accept_btn = WebDriverWait(driver, 5).until(EC.element_to_be_clickable((By.ID, 'onetrust-accept-btn-handler')))
    accept_btn.click()
except (NoSuchElementException, TimeoutException):
    # 无同意按钮则跳过
    pass

# 统一处理clip-card元素查找
try:
    p_element = WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.CLASS_NAME, 'clip-card')))
    # 链接处理逻辑...
except TimeoutException:
    print(f"页面 {page} 未找到clip-card元素")

4. 配置ChromeDriver启动参数提升稳定性 #

添加启动参数禁用不必要的功能，减少资源占用和冲突：

from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--no-sandbox')  # 禁用沙箱，避免权限问题
chrome_options.add_argument('--disable-dev-shm-usage')  # 解决内存不足导致的崩溃
chrome_options.add_argument('--disable-gpu')  # 禁用GPU加速，避免渲染异常
chrome_options.add_argument('--disable-extensions')  # 禁用浏览器扩展
chrome_options.add_argument('--headless=new')  # 无头模式（无需可视化时开启）

driver = webdriver.Chrome('/home/chromedriver', options=chrome_options)

5. 定期重启ChromeDriver #

长时间运行会导致Chrome内存泄漏，引发挂起。设置每访问N个页面重启一次驱动：

max_pages_per_session = 50
page_count = 0

while page_queue:
    page = page_queue.popleft()
    if page in visited_pages:
        continue
    visited_pages.add(page)
    
    page_count += 1
    if page_count % max_pages_per_session == 0:
        driver.quit()
        # 重新初始化驱动
        driver = webdriver.Chrome('/home/chromedriver', options=chrome_options)
    
    driver.get(page)
    # 后续操作...

优化后的完整代码示例 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import NoSuchElementException, TimeoutException
from selenium.webdriver.chrome.options import Options
from collections import deque

# 配置Chrome选项
chrome_options = Options()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-extensions')

# 初始化驱动
driver = webdriver.Chrome('/home/chromedriver', options=chrome_options)

# 待访问队列和已访问集合（替换为实际初始页面）
page_queue = deque(['你的初始页面URL'])
visited_pages = set()
max_pages_per_session = 50
page_count = 0

while page_queue:
    page = page_queue.popleft()
    if page in visited_pages:
        continue
    visited_pages.add(page)
    
    page_count += 1
    # 定期重启驱动
    if page_count % max_pages_per_session == 0:
        driver.quit()
        driver = webdriver.Chrome('/home/chromedriver', options=chrome_options)
    
    try:
        driver.get(page)
        # 处理Cookie同意按钮
        try:
            accept_btn = WebDriverWait(driver, 5).until(EC.element_to_be_clickable((By.ID, 'onetrust-accept-btn-handler')))
            accept_btn.click()
        except (NoSuchElementException, TimeoutException):
            pass
        
        # 等待clip-card元素加载
        p_element = WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.CLASS_NAME, 'clip-card')))
        for ele in p_element:
            link = ele.find_element_by_tag_name('a').get_attribute('ng-href')
            if link and link not in visited_pages and link not in page_queue:
                page_queue.append(link)
                
    except Exception as e:
        print(f"处理页面 {page} 时出错: {str(e)}")
        continue

driver.quit()

内容的提问来源于stack exchange，提问作者Prolle