Selenium Python自动化爬取遇TimeOutException：求原因定位与解决方法

问题描述 #

我在使用Selenium Python进行自动化数据爬取时，频繁遭遇TimeOutException。该错误随机出现在代码的任意行，目前在获取detail_topic元素时多次触发，执行点击类操作时也常出现。我尚未尝试try&except语句，希望先定位核心问题，相关代码如下：

#loop how many pages
for i in range(0, 10):
    #loop how many topic
    total = WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.XPATH, '//*[@id="topic-list"]/card-topic')))
    #loop every topic
    for i in range(1, len(total)):
        
        time.sleep(0.5)
        topic = driver.find_element(By.XPATH, '//*[@id="topic-list"]/card-topic[{}]'.format(i))
        time.sleep(0.5)
        shadow1 = driver.execute_script("return arguments[0].shadowRoot", topic)
        time.sleep(0.5)
        shadow1.find_element(By.CSS_SELECTOR, 'a').send_keys(u'\ue007')
    
        detail_topic = WebDriverWait(driver, 100).until(EC.presence_of_element_located((By.CSS_SELECTOR, 'detail-topic')))
        shadow2 = driver.execute_script("return arguments[0].shadowRoot", detail_topic)
        title = shadow2.find_element(By.CSS_SELECTOR, '.h2').text
        title_data3ab.append(title)

        time.sleep(0.5)
        driver.back()
    
    pagination = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, f'//paginate-button')))
    shadow_pagination = driver.execute_script("return arguments[0].shadowRoot", pagination)
    next_button = shadow_pagination.find_element(By.CSS_SELECTOR, 'a.page-next')
    actions = ActionChains(driver)
    time.sleep(0.5)
    actions.move_to_element(next_button)
    time.sleep(0.5)
    actions.click(next_button).perform()

核心问题定位 #

• 循环变量冲突：外层分页循环和内层topic循环共用i变量，会覆盖分页逻辑的变量值，间接引发页面加载异常。
• 依赖固定等待而非显式等待：大量使用time.sleep(0.5)，无法适配页面加载的波动，一旦页面加载变慢，就会出现元素未就绪就操作的情况，触发超时。
• Shadow DOM操作无等待：获取Shadow DOM后直接定位元素，没有等待内部元素加载完成，容易因元素未渲染导致找不到元素。
• 等待条件不合理：获取detail-topic时使用presence_of_element_located，仅判断元素存在，不保证元素可交互或完全渲染，后续操作容易失败。
• 操作方式不稳定：用send_keys(u'\ue007')模拟回车点击链接，不如click()方法稳定；分页按钮用ActionChains点击，没有等待按钮可交互，容易触发点击失败。

优化方案 #

• 修复循环变量冲突：将内层循环的变量从i改为j，避免覆盖外层分页变量：

  for j in range(1, len(total)):
  

• 替换固定等待为显式等待：删除所有time.sleep，改用WebDriverWait等待元素可交互，比如定位topic元素：

  topic = WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.XPATH, '//*[@id="topic-list"]/card-topic[{}]'.format(j))))
  

• Shadow DOM操作添加等待：获取Shadow DOM后，等待内部元素可交互再操作，同时替换回车为click()：

  shadow1 = driver.execute_script("return arguments[0].shadowRoot", topic)
  link = WebDriverWait(shadow1, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'a')))
  link.click()
  

• 调整详情页等待条件：改用visibility_of_element_located确保元素完全渲染：

  detail_topic = WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.CSS_SELECTOR, 'detail-topic')))
  

• 返回列表页后等待页面恢复：调用driver.back()后，等待列表元素重新加载完成再继续循环：

  driver.back()
  WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.XPATH, '//*[@id="topic-list"]/card-topic')))
  

• 优化分页按钮操作：等待分页按钮可交互后直接点击，替代ActionChains：

  next_button = WebDriverWait(shadow_pagination, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'a.page-next')))
  next_button.click()
  

内容的提问来源于stack exchange，提问作者abbym