使用Selenium Python处理论坛动态元素,抓取帖子编辑日期
解决Selenium Python爬取帖子编辑状态的问题
核心思路是先定位所有帖子容器(message-content),再逐个检查每个容器内是否存在编辑信息元素,不存在则填充N/A:
- 获取页面中所有帖子的容器元素
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.common.exceptions import NoSuchElementException driver = webdriver.Chrome() driver.get("你的论坛页面URL") # 获取所有帖子容器 post_containers = driver.find_elements(By.CLASS_NAME, "message-content")
- 遍历每个容器,检查编辑信息
edits_list = [] for container in post_containers: try: # 尝试定位编辑日期元素 edit_time = container.find_element(By.CLASS_NAME, "message-lastEdit").find_element(By.CLASS_NAME, "u-dt") # 优先取data-date-string属性,也可以用text文本 edit_date = edit_time.get_attribute("data-date-string") or edit_time.text edits_list.append(edit_date) except NoSuchElementException: # 找不到元素时添加N/A edits_list.append("N/A") # 整理成目标格式 result = {'edits': edits_list} print(result)
关键说明
- 必须基于每个帖子容器去查找编辑元素,而不是直接全局查找
message-lastEdit,这样才能保证每个帖子的状态一一对应 - 也可以用
find_elements替代异常捕获来判断元素存在性(返回空列表即表示不存在):
# 无需异常捕获的写法 edit_elements = container.find_elements(By.CLASS_NAME, "message-lastEdit") if edit_elements: edit_date = edit_elements[0].find_element(By.CLASS_NAME, "u-dt").get_attribute("data-date-string") edits_list.append(edit_date) else: edits_list.append("N/A")
内容的提问来源于stack exchange,提问作者BGreeneGiant
相关产品推荐
相关产品推荐

