Python Selenium爬取数据返回上一页报IndexError索引越界问题

• 页面加载判断逻辑完全依赖固定时长的time.sleep()，可靠性极差。执行window.history.go(-1)返回配置页后，经常出现DOM未完成渲染的情况：此时你查找select-common-wrap类名的配置区块，返回的sections列表长度不足2（仅加载出第一个处理器区块，代际及后续区块还未渲染），直接访问sections[1]必然触发索引越界。
• 配置区块是动态联动加载的：选中上层配置后，下层配置区块需要一定时间从接口拉取数据再渲染到页面，你没有等待下层区块加载完成就直接取固定索引，同样会出现sections长度不足的问题。
• 后退操作的页面状态不可控：浏览器缓存机制可能导致后退时表单重置、DOM结构和你预期的选中状态不一致，此时你按照嵌套循环的固定索引取元素，完全匹配不到对应结构。

1. 替换固定等待为显式等待+长度校验
   首先导入Selenium显式等待依赖，每次查找配置区块前，先等待目标区块加载完成，再执行后续操作，不要硬等固定时长：

   # 新增导入
   from selenium.webdriver.support.ui import WebDriverWait
   from selenium.webdriver.support import expected_conditions as EC
   

   每次获取sections后先校验长度，比如取代际区块（索引1）前，先确认sections长度至少为2，不足则持续轮询查找：

   sections = driver.find_elements(By.XPATH, '//div[@class="select-common-wrap"]')
   while len(sections) < 2: # 要取索引1，列表长度至少为2
       time.sleep(0.3)
       sections = driver.find_elements(By.XPATH, '//div[@class="select-common-wrap"]')
   generation = sections[1].find_elements(By.XPATH, ".//label/div[@class='select-item m-1']")
   

   同理，取内存（索引2）、型号（索引3）等其他区块时，把判断长度的阈值改成对应索引+1即可。

2. 替换不可靠的后退逻辑
   不要用window.history.go(-1)返回配置页，爬完一组报价后，直接重新访问初始配置页URL，再按照当前循环的索引逐层选中对应配置，完全避免后退导致的页面状态异常：

   # 爬完报价存完数据后，替换原来的后退逻辑
   ALL_ITEMS.append(item.copy())
   driver.get(search_url)
   # 等待初始页面加载完成，6个配置区块全部渲染
   WebDriverWait(driver, 10).until(
       lambda d: len(d.find_elements(By.XPATH, '//div[@class="select-common-wrap"]')) >=6
   )
   time.sleep(1)
   

   注意：如果用直接访问初始页的逻辑，你需要在每次重新进入页面后，按照当前循环的i值选中处理器，等代际加载后选g值的代际，依次选完所有层级的配置再进入下一组爬取，逻辑会比后退更稳定，不会出现状态错乱。

3. 增加异常重试
   给元素点击、查找操作加最多2次重试，偶发的加载失败直接重试即可，不需要中断整个爬取任务。

• 你现在用execute_script点击元素虽然能规避元素遮挡问题，但点击后最好等待下一层级的选项出现，再继续操作，不要直接sleep 2秒。
• 随机邮箱生成可以加个数字后缀，避免被网站识别为随机字符串拦截。
• 每次输入邮箱前先清空输入框，避免上一次的输入残留导致提交失败。

内容的提问来源于stack exchange，提问作者user19399799