You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

使用Selenium Python处理论坛动态元素,抓取帖子编辑日期

解决Selenium Python爬取帖子编辑状态的问题

核心思路是先定位所有帖子容器(message-content),再逐个检查每个容器内是否存在编辑信息元素,不存在则填充N/A:

  1. 获取页面中所有帖子的容器元素
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException

driver = webdriver.Chrome()
driver.get("你的论坛页面URL")

# 获取所有帖子容器
post_containers = driver.find_elements(By.CLASS_NAME, "message-content")
  1. 遍历每个容器,检查编辑信息
edits_list = []
for container in post_containers:
    try:
        # 尝试定位编辑日期元素
        edit_time = container.find_element(By.CLASS_NAME, "message-lastEdit").find_element(By.CLASS_NAME, "u-dt")
        # 优先取data-date-string属性,也可以用text文本
        edit_date = edit_time.get_attribute("data-date-string") or edit_time.text
        edits_list.append(edit_date)
    except NoSuchElementException:
        # 找不到元素时添加N/A
        edits_list.append("N/A")

# 整理成目标格式
result = {'edits': edits_list}
print(result)

关键说明

  • 必须基于每个帖子容器去查找编辑元素,而不是直接全局查找message-lastEdit,这样才能保证每个帖子的状态一一对应
  • 也可以用find_elements替代异常捕获来判断元素存在性(返回空列表即表示不存在):
# 无需异常捕获的写法
edit_elements = container.find_elements(By.CLASS_NAME, "message-lastEdit")
if edit_elements:
    edit_date = edit_elements[0].find_element(By.CLASS_NAME, "u-dt").get_attribute("data-date-string")
    edits_list.append(edit_date)
else:
    edits_list.append("N/A")

内容的提问来源于stack exchange,提问作者BGreeneGiant

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.10 15:53:26