Selenium爬虫循环最后一次未完全执行，无法爬取最后一个邮编门店

核心原因 #

1. 页面/异步加载未等待：最后一次输入邮编后，Selenium未等待页面DOM或AJAX请求完全更新，直接抓取了缓存的前一次结果。
2. 元素复用导致的缓存问题：循环中复用了之前定位的结果元素对象，未重新查找最新DOM节点。
3. 输入框未完全清空：最后一次输入邮编时，前一次的内容未彻底清除，导致查询参数错误。
4. 循环逻辑边界问题：邮编列表的循环终止条件异常，最后一次迭代未正确执行抓取逻辑。

针对性解决办法 #

1. 强制使用显式等待替代隐式等待 #

不要依赖time.sleep()的固定等待，改用Selenium的显式等待监听结果区域的更新，确保页面加载完成后再抓取：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.keys import Keys

# 假设结果列表的CSS选择器为.store-list .store-item
last_element = None
for zipcode in zipcodes:
    # 清空并输入邮编
    input_box = driver.find_element(By.ID, "zip-input")
    input_box.send_keys(Keys.CONTROL, "a")
    input_box.send_keys(Keys.DELETE)
    input_box.send_keys(zipcode)
    input_box.submit()

    # 等待新的结果元素加载完成（或旧元素失效）
    try:
        if last_element:
            # 等待前一次结果元素失效，确保DOM已更新
            WebDriverWait(driver, 15).until(EC.staleness_of(last_element))
        # 等待新结果区域出现
        WebDriverWait(driver, 15).until(
            EC.presence_of_element_located((By.CSS_SELECTOR, ".store-list .store-item"))
        )
    except TimeoutException:
        print(f"邮编 {zipcode} 加载超时，跳过")
        continue

    # 重新定位结果元素，绝不复用旧对象
    store_items = driver.find_elements(By.CSS_SELECTOR, ".store-list .store-item")
    # 处理门店信息并更新DataFrame...
    if store_items:
        last_element = store_items[0]

2. 确保输入框彻底清空 #

部分场景下clear()方法可能失效，改用全选删除的方式确保输入框内容完全清空：

from selenium.webdriver.common.keys import Keys

input_box = driver.find_element(By.ID, "zip-input")
# 全选现有内容并删除
input_box.send_keys(Keys.CONTROL, "a")
input_box.send_keys(Keys.DELETE)
# 输入新邮编
input_box.send_keys(zipcode)

3. 调试循环边界逻辑 #

添加日志打印，确认最后一次循环是否执行、输入的邮编是否正确：

zipcodes = ["100000", "200000", "...", "999999"]
for idx, zipcode in enumerate(zipcodes):
    print(f"正在处理第 {idx+1}/{len(zipcodes)} 个邮编：{zipcode}")
    # 后续爬取逻辑...

通过日志可以验证最后一次循环的邮编是否正确传入，以及是否进入了抓取流程。

4. 监听AJAX请求状态（若页面用异步加载） #

如果门店结果是通过AJAX动态加载的，可以通过JS脚本检查页面的异步请求是否完成：

# 等待AJAX请求全部完成（适用于使用jQuery的页面）
WebDriverWait(driver, 15).until(
    lambda d: d.execute_script("return jQuery.active == 0")
)

# 通用JS检查（不依赖jQuery）
WebDriverWait(driver, 15).until(
    lambda d: d.execute_script("return document.readyState == 'complete'")
)

内容的提问来源于stack exchange，提问作者SDR3078