如何用Python+Selenium遍历Nextdoor帖子的所有用户名称？

核心问题排查与修复方案 #

1. 修正元素定位方式 #

如果你的代码使用find_element()（单数方法），只会返回第一个匹配的元素，必须改用find_elements()（复数方法）获取所有帖子的用户元素列表：

# 错误：仅获取第一个用户元素
user_element = driver.find_element(By.XPATH, "//div[@class='post-author']")
# 正确：获取全部用户元素
user_elements = driver.find_elements(By.XPATH, "//div[@class='post-author']")

2. 处理动态滚动加载 #

Nextdoor帖子为滚动加载模式，仅遍历当前可见区域会漏掉后续内容，需先滚动加载全部帖子再提取元素：

import time

# 滚动加载所有帖子
last_height = driver.execute_script("return document.body.scrollHeight")
while True:
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(2)  # 等待页面加载
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

# 提取全部用户元素
user_elements = driver.find_elements(By.XPATH, "//div[@class='post-author']")

3. 避免页面跳转导致元素失效 #

若遍历中需要进入帖子详情页再返回，原元素列表会因DOM刷新失效，需提前提取用户链接或信息：

# 提前提取所有用户页面链接
user_links = [elem.find_element(By.TAG_NAME, "a").get_attribute("href") for elem in user_elements]

# 遍历链接处理用户信息
for link in user_links:
    driver.get(link)
    # 此处添加获取用户信息、发送消息的逻辑
    driver.back()
    time.sleep(1)  # 等待列表页加载完成

4. 检查循环逻辑是否遗漏 #

确保循环遍历全部元素，而非仅执行一次：

# 错误：仅处理第一个元素
for elem in user_elements[:1]:
    # 处理逻辑
# 正确：遍历所有用户元素
for elem in user_elements:
    username = elem.text
    # 后续处理逻辑

额外优化建议 #

• 加入操作间隔避免触发反爬机制，优先使用显式等待替代固定sleep：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待用户元素加载完成再提取
user_elements = WebDriverWait(driver, 10).until(
    EC.presence_of_all_elements_located((By.XPATH, "//div[@class='post-author']"))
)

内容的提问来源于stack exchange，提问作者CarlosM239