WhatsApp网页版爬虫StaleElementReferenceException捕获失效求助

问题根源 #

你遇到的StaleElementReferenceException是因为WhatsApp网页版滚动聊天列表时，DOM会重新渲染早期的聊天元素，导致你之前保存的元素引用彻底失效——即使你用try-except捕获，只要操作的是已经失效的引用，异常还是会触发，这通常是因为你一次性获取了所有聊天元素并保存到列表，后续滚动后这些引用就作废了。

解决方案 #

核心思路是不要保存元素引用，每次操作前重新定位元素，结合滚动后的重新获取逻辑，确保每次操作的都是当前DOM中有效的元素。具体步骤：

• 每次循环都重新获取当前可见的聊天列表元素，而非一次性获取后复用
• 将可能触发异常的操作（点击、获取文本）包裹在try-except块中，遇到失效元素直接跳过
• 滚动后等待页面加载，再继续处理新的聊天项
• 针对未保存联系人，必须进入详情页才能获取号码

修改后的代码示例 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import StaleElementReferenceException
import time

# 初始化浏览器并打开WhatsApp网页版
driver = webdriver.Chrome()
driver.get("https://web.whatsapp.com/")
input("扫码登录后按回车继续...")

last_scroll_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # 每次循环重新获取当前聊天列表的元素
    chat_items = WebDriverWait(driver, 10).until(
        EC.presence_of_all_elements_located((By.XPATH, "//div[@aria-label='聊天列表']//div[@role='listitem']"))
    )
    
    for chat in chat_items:
        try:
            # 点击进入聊天窗口
            chat.click()
            time.sleep(1)
            
            # 获取联系人姓名
            contact_name = WebDriverWait(driver, 5).until(
                EC.presence_of_element_located((By.XPATH, "//div[@class='_23P3O']//span"))
            ).text
            
            # 打开联系人详情页（未保存联系人的号码仅在这里显示）
            driver.find_element(By.XPATH, "//div[@aria-label='菜单']").click()
            time.sleep(0.5)
            driver.find_element(By.XPATH, "//div[@aria-label='查看联系人']").click()
            time.sleep(1)
            
            # 获取联系人号码
            contact_number = WebDriverWait(driver, 5).until(
                EC.presence_of_element_located((By.XPATH, "//div[@class='_1wYpT']//span"))
            ).text
            
            print(f"姓名: {contact_name}, 号码: {contact_number}")
            
            # 返回聊天列表
            driver.find_element(By.XPATH, "//div[@aria-label='返回']").click()
            time.sleep(0.5)
            
        except StaleElementReferenceException:
            # 元素已失效，直接跳过当前项
            continue
        except Exception as e:
            print(f"处理联系人失败: {str(e)}")
            # 确保回到聊天列表，避免后续操作出错
            try:
                driver.find_element(By.XPATH, "//div[@aria-label='返回']").click()
            except:
                pass
            continue
    
    # 滚动加载更多聊天
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(2)
    
    # 判断是否已滚动到底部
    current_scroll_height = driver.execute_script("return document.body.scrollHeight")
    if current_scroll_height == last_scroll_height:
        break
    last_scroll_height = current_scroll_height

driver.quit()

关键注意事项 #

• WhatsApp网页版的DOM结构可能随时更新，你需要根据实际页面调整XPath中的类名、aria-label属性值
• 未保存联系人的号码不会在聊天列表直接显示，必须进入详情页获取
• 加入适当的time.sleep()或显式等待，避免页面未加载完成就执行操作
• 如果遇到频繁的异常，可以增加重试逻辑（比如对单个聊天项重试2-3次）

内容的提问来源于stack exchange，提问作者kishor khade