Selenium XPath爬取论坛文本失败：仅输出会话信息而非目标文本

核心问题 #

你遇到的问题主要集中在以下几点：

• 未将获取到的文本内容保存到变量，最后打印的是WebDriver实例对象而非目标文本
• 变量名requests与常用HTTP请求库重名，易造成混淆
• XPATH写法冗余，且未考虑页面加载延迟可能导致的元素定位失败

修正后的代码 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 替换为目标论坛帖子的实际URL
url = 'YOUR_TARGET_POST_URL'

# 重命名WebDriver实例，避免与requests库冲突
driver = webdriver.Chrome()
driver.get(url)

try:
    # 等待目标元素加载完成（最多等待10秒）
    target_element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, '//*[@id="js-post-4426721"]/div[2]/div[2]/div/div/div/article/div[1]/div[1]/div[2]/pre/code'))
    )
    # 获取并存储目标文本
    target_text = target_element.text
    # 打印爬取到的文本
    print(target_text)
finally:
    # 确保浏览器会话正常关闭
    driver.quit()

修改说明 #

• 变量名优化：将requests改为driver，避免与第三方库requests命名冲突，提升代码可读性
• 添加等待机制：使用WebDriverWait等待元素加载完成，解决页面异步加载导致的元素定位失败问题
• XPATH简化：直接定位到code元素即可，无需使用text()/..的冗余写法
• 文本处理修正：将获取到的文本保存到target_text变量，最后打印该变量而非WebDriver实例
• 资源清理：通过try...finally确保浏览器会话正常关闭，避免内存资源泄漏

内容的提问来源于stack exchange，提问作者spike666spike666